- VQA v2は同じ質問に違う答えになる似た画像を組にし、画像を見ない近道を減らす。
- 第3版の表1ではMCBモデルが元の評価で60.36、元データで学習して均衡化した検証集合では54.22だった。
- 同じ均衡化した検証集合でも、均衡化した全訓練データで学習すると59.14へ戻る。訓練条件を揃えて差を読む。
何を確かめた研究か
画像について「何色か」と尋ねても、質問文に多い答えを覚えれば、画像を十分に見ずに点を取れることがある。VQA v2の論文は、元の画像とよく似ているが同じ質問への答えが変わる補完画像を集め、言語だけの近道を減らした。画像が回答を左右する試験を作ることが目的だ。
どう検証したか
クラウドワーカーが、既存の画像と質問の組に対し、似ているが答えの異なる画像を選ぶ。たとえば同じ問いでも二枚の画像で「はい」と「いいえ」が変わる対を作る。二枚を見ずに質問文だけから固定の答えを出す方法なら、対の両方を正解することはできない。
論文は約110万の画像・質問の組を作り、言語だけのモデルと画像も使うモデルを再評価した。元の訓練・検証集合と均衡化した集合、均衡化データで再学習した条件を表1で分ける。これらの値を一つの比較として混ぜない。
何が分かったか
表1のMCBモデルは元のデータで訓練し元の検証集合で測ると60.36、同じ訓練で均衡化した検証集合へ移すと54.22だった。言語だけのモデルも48.21から41.40へ下がり、元の集合に質問文由来の手掛かりがあったことを示す。MCBを均衡化した全訓練集合で学び直すと、均衡化した検証集合で59.14となる。
成績が下がったことは、元のモデルが画像を全く見ていなかった証明ではない。画像と言語の両方を使っていても、質問文の頻度へ過度に頼れば影響を受ける。対になる画像の評価が、そうした依存を見つけやすくした。
限界は何か
均衡化しても全ての言語偏りが消えるわけではなく、論文も分布が完全に均衡しているとは述べない。似た画像の選び方や当時のモデルに依存し、現在の視覚言語モデルが同じ幅で下がるとは限らない。質問の対だけで、画像の説明や物体位置の根拠まで評価できるわけでもない。
仕事との接点
写真や画面から答えるAIを試すなら、同じ質問で答えが変わる似た画像をテストに含める。質問文だけを入力した基準線も測り、画像を見る価値を確かめる。これは論文の均衡化手法から導くTRAIL編集部の提案であり、論文が企業の画像質問を評価したわけではない。