- 画像、動画、文書をまとめて探す検索器の性能を測った。
- 747の質問と4万6,000件超の候補を使い、形式を混ぜると検索が難しくなることを示した。
- 根拠が見つかった場合の推論力と、検索で見つけられる率は別の指標だ。
何を確かめた研究か
AIが画像や動画を理解できても、大量の資料から必要な一件を先に探せなければ回答に使えない。MultiHaystackは、異なる形式の資料を同時に検索する状況で、根拠を上位に持ってこられるかを測るベンチマークだ。推論モデルの読解能力と検索段階を分けて調べる。
どう検証したか
433の画像、105の動画、209の文書を根拠とする、計747の質問を作った。検索対象の候補は4万6,000件超で、各質問には固有の根拠がある。質問はモデルで生成した後、別モデルと手動確認を組み合わせて絞った。形式ごとの検索と、全形式を一つの候補集合として探す検索を比較した。正しい根拠を一位で返した率をRecall@1として測る。
検索は回答前の処理で、ここで根拠を逃すと、後段のモデルが強くてもその資料に基づく回答は難しい。論文は検索器の比較と、得られた候補を使う回答の比較を分けている。両方を同じ「正解率」と呼ばないことが結果を読むうえで重要になる。
何が分かったか
E5-V検索器のRecall@1は、単一形式では50.87%、形式を混ぜると40.83%だった。検索が一段難しくなるだけで、後段の回答に渡せる証拠が減る。GPT-5を使った後段の評価では、正しい根拠を直接渡した場合は80.86%、検索の上位五件を渡した場合は51.41%という結果も報告された。この差は回答モデルだけの能力差ではなく、前段で適切な資料を取れるかの影響を含む。
検索評価のRecall@1は、唯一の正しい根拠を一位に置けた割合だ。実際の検索では複数の有用な資料があり得るが、このベンチマークは質問ごとの根拠を一件に定めている。そのため、採点の見通しが良い一方、複数資料を突き合わせる調査の全体は表さない。上位五件を後段モデルへ渡す結果も、検索が完全に成功した条件ではない。
限界は何か
音声は対象外で、質問作成にはモデル生成とフィルタリングが使われた。候補の構成や検索モデルが違えば率も変わる。回答の評価は自動判定にも依存する。論文本文には候補の内訳と食い違う「282 items」という記述があるため、この記事では433+105+209=747の根拠資料数と、4万6,000件超の検索候補を分けて記した。
形式を混ぜると、検索器は画像なのか動画なのか文書なのかを選ぶ段階から判断する必要がある。単一形式での50.87%と混合形式での40.83%は、同じE5-Vの比較として読める。しかし他の検索器や、自社固有の画像・文書の比率なら差は変わり得る。質問を作ったモデルと採点モデルがデータの傾向を作る可能性も残る。
仕事との接点
画像、動画、PDFを一つの社内検索に入れる場合は、答えの正誤だけでなく、根拠資料が検索上位に入ったかを記録する。形式別に良くても、形式を混ぜると落ちる可能性を試す。これは論文の比較設計から導く編集部の提案だ。
回答の品質改善を検索器の改善と取り違えないため、根拠が候補に入らなかった失敗と、候補に入ったのに読み違えた失敗を別々に集計したい。MultiHaystackは前者を可視化するための評価軸を提供する。