- CLEVRは合成画像10万枚と999,968件の質問を用意し、視覚的な推論を操作別に調べる。
- 各質問には、属性を絞る、物体を数える、二つの数を比べるなどの関数プログラムが付く。
- 合成画像で弱点を切り分けられる一方、実際の写真で同じ性能になるとは限らない。
何を確かめた研究か
画像と質問を入力するモデルは、質問文に多い答えを覚えるだけでも点を取れる場合がある。CLEVRの論文は、色・形・大きさ・材質の異なる物体を配置した合成画像を使い、数え上げや位置関係などの推論を個別に診断するデータセットを作った。総合正解率の背後にある弱点を見つけることが目的だ。
どう検証したか
各画像の物体と属性、位置関係は作成時に分かっている。質問には「赤い物体を選び、数える」など、単純な操作を組み合わせた関数プログラムを対応させる。この記録を使えば、属性の照合、数え上げ、値の比較などの型ごとにモデルの誤りを調べられる。データは10万枚の画像と999,968件の質問からなる。
論文は複数の当時の視覚質問応答モデルを試し、全体点と操作別の成績を分析した。単純な言葉の偏りを減らすよう生成したが、質問文や画像の統計的な手掛かりが全くないと保証するものではない。
何が分かったか
全体の正解率が似ていても、数え上げや属性の比較などで得意不得意が違うことを確認できた。質問の長さや操作の組み合わせを変えると、モデルが本当に関係をたどっているかを調べやすい。関数プログラムがあるため、最終回答が間違った場合に、必要だった操作の種類を特定できる。
ただしプログラムは正解に必要な操作の表現で、モデルの内部がその順番で考えた証拠ではない。正しい答えを出したとしても、同じ推論経路を通ったとは限らない。
限界は何か
CLEVRの画像は単純な3D形状を合成したもので、写真の遮蔽、文字、背景の複雑さを代表しない。論文の実験で弱点が見えたモデルでも、別の自然画像データでの誤りの割合は直接推定できない。診断で切り分けた操作を、現実の代表的な画像で再評価する必要がある。
仕事との接点
画像から情報を読み取るAIを試すなら、質問を「物体を数える」「二つを比較する」「位置関係を追う」などに分け、どこで失敗するかを見る。これはCLEVRの診断設計から導くTRAIL編集部の提案であり、論文が業務写真の品質を測ったわけではない。