- MMSearch-Plusは、画像を見てWebを調べ、画面に書かれていない事実まで答える311問の評価集合である。
- この論文の検索環境では、o3の正答率は検索なし15.1%、検索を使って36.0%だった。
- 写真の小さな手掛かりを読み、検索結果がその画像の出来事を指すか確かめる必要がある。
何を確かめた研究か
MMSearch-Plusの原論文は、画像を含むWeb調査でAIが本当に視覚情報を使い、根拠を確認できているかを測る。従来の評価では、画像検索で出たページの周辺テキストだけから答えられる問いもある。著者らは、写真の一部に写る標識、服装、字幕などを手掛かりに出来事を特定し、その前後の日時や場所といった画像外の事実を調べる課題を作った。論文の初公開と参照版は2025年8月29日である。
どう検証したか
評価集合は311問で、すべてに少なくとも1枚の画像が付く。動画の一場面や論文の図表などから、人が問題を作成した。既知の知識だけで解ける問いは複数モデルで試して削り、直接答えが読める文字も隠す。8つの大分類があり、答えは平均3.8語と短い。
評価では、画像と質問だけで答える、画像検索の上位結果を与える、テキスト検索も使えるエージェントを動かす、という条件を分けた。検索エージェントはSerpApiを使用し、テキスト・画像の検索を合わせて最大20回とする。正答判定は許容回答との一致をGPT-4oが評価し、著者らは手作業の確認と一致したと報告する。検索結果の要約やキャッシュも含む、この論文の実験系での比較である。
何が分かったか
表1ではo3が検索なし15.1%、画像検索だけ19.3%、検索エージェント全体で36.0%だった。Gemini 2.5 Proはそれぞれ10.6%、16.4%、23.8%である。検索を追加すると改善するが、多くの問いは解けない。検索回数だけ増やしても正答するとは限らず、誤答の経路では検索が多い傾向もあった。
誤答例には、画像と無関係な検索結果を関連資料とみなす、必要な小さな情報を見落とす、検索した資料の出来事と写真の出来事を照合しない、といった失敗がある。最終回答の一致だけでなく、途中の出典のつながりを見る理由が分かる。
限界は何か
対象は公開Webから集めた特定の分野に偏り、非英語ページや視覚情報が少ないページは十分に含まれない。動くWeb画面や動画そのものの調査も主な対象ではない。論文の主要実験では部分画像の切り抜き検索を使っておらず、その道具を備えた別のシステムの性能まで示さない。
難問を作るため、既存モデルが検索なしで答えられる問いを除く選別も行った。表1の低い数値を、一般の画像付き検索すべての成功率とみなせない。検索サービスの結果やモデルの版が変われば、同じ問いの解け方も変わり得る。
仕事との接点
画像を手掛かりに商品、施設、イベントを調べるAIを評価するなら、答えの正誤に加え、どの画像部分を読んだか、検索先が同じ対象を指すか、最終情報の出典まで追えるかを確認する。これはTRAIL編集部の提案である。