- 形と模様が別の物体を指す画像で、標準のResNet-50は模様側を77.9%選んだ。
- 人間は同じ刺激の正答において、形側を95.9%選んだ。
- 画風を変えた学習画像を使うと、同じResNet-50構造でも判断の手掛かりが変わった。
何を確かめた研究か
画像分類器が高い正解率を出しても、何を見て決めたかは別問題だ。この研究は、物体の形と表面の質感が異なるカテゴリーを示す画像を使い、ImageNetで学習したCNNと人間の選び方を比較した。さらに、画像の画風を入れ替えて質感の手掛かりを弱めたStylized-ImageNet（SIN）で学習し直し、構造を変えずに形を重視させられるかを調べた。
どう検証したか
人間の比較は九実験、97人、4万8560試行に及ぶ。標準ImageNetで学習したAlexNet、VGG-16、GoogLeNet、ResNet-50を、形と質感が矛盾する画像へ入力した。学習条件を変える実験ではResNet-50をImageNet、SIN、両方などで訓練し、通常画像の正解率、Pascal VOC 2007の検出、画像劣化への頑健性を分けて測った。
形と質感が一致する普通の画像だけでは、どちらを頼りにしたかは分からない。矛盾刺激を用意したことが、この研究の中心的な識別方法である。人間とCNNの出力カテゴリーを同じ16クラスへ対応させた上で比較した。
何が分かったか
本文§3.1の矛盾刺激では、人間は正しい判断の95.9%で形側を選び、標準ResNet-50は形側22.1%、質感側77.9%だった。VGG-16も質感側82.8%。これはCNNが全画像で必ず質感しか見ないという意味ではなく、設計した刺激での傾向だ。
表1では標準ImageNetで学習したResNet-50をSIN画像で試すとTop-5正解率16.4%。SINで学習した同構造をSINで試すと79.0%、普通のImageNetでも82.6%だった。表2のPascal VOC検出では、標準ResNet-50のmAP50が70.7、SINとImageNetを組み合わせて学習・微調整したShape-ResNetは75.1。後者は学習データと手順も異なるため、形バイアスだけの単独因果効果とは言えない。
限界は何か
対象は当時のCNNと特定の16クラス、画風変換、画像劣化である。質感が分類に役立つ用途もあり、常に形だけを重視すればよいわけではない。画風変換で生じた人工画像と、実際の撮影条件の変化は同じではない。検出成績の差をすべて形バイアスに帰することもできない。
仕事との接点
画像認識を導入するなら、背景や質感を変えても目的の物体を識別できるか調べる。通常のテスト正解率と、矛盾刺激・画像劣化・別撮影条件での成績を分けて記録する。この論文は、データがモデルの判断手掛かりを形作ることを示した。