- Web上に散らばった手掛かりから短い正解を探す、1,266問の評価セットを作った。
- 原論文の表3では、当時のDeep Researchは51.5%を正答したが、確信度のずれも大きかった。
- 難問を探す能力を測る設計で、日常の検索や長い報告書作成の品質は測っていない。
何を確かめた研究か
BrowseCompの原論文は、検索語を一度入れて見つかる答えではなく、複数のWebページをたどらなければ分からない事実をAIが探せるかを問う。著者らは、人が作った1,266の質問と短い参照回答を用意した。質問の答えは一つに定まるよう作り、回答を短く採点できるようにする。
論文の初公開と参照版はともに2025年4月16日である。Web操作全般を評価するWebArenaとは目的が異なり、BrowseCompは見つけにくい一つの事実を探す力に焦点を絞る。
どう検証したか
作問者は、当時のモデルが答えられないこと、少数の単純な検索で答えが出ないことを確かめた。別の人が10分以内に解けない難しさも狙う。正しいと考えられる回答と根拠を用意し、モデルの回答が参照回答と同じ意味かをAIの採点器で比べる。
この作り方には注意点がある。まず答えになる事実を見つけ、そこから逆向きに質問を作る場合、別の正解が絶対にないとは証明しにくい。論文もこの可能性を認め、条件の追加や別の作問者による確認で減らそうとした。
比較対象には、Webを使わないGPT-4o、GPT-4.5、o1と、閲覧機能付きGPT-4o、Deep Researchを含めた。各モデルの版と設定は論文の第4節に書かれている。調査にかける計算量を増やす実験も行ったが、ここでの得点は固定された当時のモデルと設定に限る。
何が分かったか
表3での正答率は、GPT-4oが0.6%、閲覧機能付きGPT-4oが1.9%、o1が9.9%、Deep Researchが51.5%だった。単に閲覧機能があるかどうかだけでは説明できず、検索の経路を変えながら探す能力も関わる。ただし、モデルごとに学習とツールの条件が違うため、数値の差だけから単一の機能の効果を切り出せない。
Deep Researchの較正誤差は表3で91%。これは回答時の確信度が実際の正答率に合っていない程度を示す。半数ほど正答しても、誤った答えを強く信じる問題が残る。また脚注には、Deep ResearchがBrowseComp型の課題を得意にするデータで訓練されたと明記される。公平な汎用能力ランキングと読むべきではない。
限界は何か
論文は、日常の質問の分布、曖昧な依頼の解釈、長い文章の作成を評価対象から外す。正解が一つに定まる短答式であり、資料の信頼性を吟味して複数の主張を出典付きで報告する仕事とは違う。人の比較でも、作問に関わった訓練者が各問を一定時間探す条件であり、専門調査員の能力との比較ではない。
さらに、著者らは初期の1,287問から、答えの形式の不一致や曖昧さなどが見つかった21問を除いた。採点しやすい設問でも、正解データの品質確認は継続して必要である。
仕事との接点
調査AIを社内で試すなら、正答だけでなく、どの資料から各事実を得たか、相反する資料をどう扱ったか、見つからないときに止まれるかを評価する。Webの情報は変わるので、試験日時と参照ページも保存する。これはTRAIL編集部の提案であり、BrowseCompの得点が長い調査報告の品質を保証するわけではない。