- Search-R1は、AIが考える途中で検索語を作り、結果を読んで再検索する手順を強化学習で訓練した。
- 第5版の7データセット平均では、Qwen2.5-7Bを使う設定でExact Matchが0.431となった。
- 実験の検索対象は2018年版Wikipediaの固定コーパスで、現在のWebを調査する能力の測定ではない。
何を確かめた研究か
Search-R1の原論文・第5版は、AIが外部情報を使うとき、初めに一度だけ検索するより、考えながら必要な時に検索語を変えるほうがよいかを調べた。検索拡張生成（RAG）は資料を取り込んで回答を作る方式だが、検索のタイミングや語句が固定されると、複数の手掛かりをつなぐ質問では不足し得る。
著者らは、推論の途中に検索要求を挟み、その結果を受けて続きを生成するモデルを作った。検索操作はモデルの外にある環境として扱い、最終回答の正誤を報酬にして学ぶ。論文の初公開は2025年3月12日で、この記事は同年8月5日の第5版を読む。
どう検証したか
Search-R1は、モデルが特別なタグで検索語を指定すると、検索器が資料を返す仕組みを使う。取得した文章そのものをモデルの学習対象として扱わないようにする「取得トークンのマスク」も入れる。著者らはPPOとGRPOという強化学習法を比較し、主な実験ではPPOを使った。
訓練にはNatural QuestionsとHotpotQAを使い、評価にはこの2つと、TriviaQA、PopQA、2WikiMultiHopQA、MuSiQue、Bamboogleを加えた計7データセットを用いる。比較法にも同じ検索器、2018年版Wikipedia、取得文書数3件を使った。指標はExact Matchで、短い答えが参照解と一致した割合を測る。モデルはQwen2.5の3Bと7B、基盤版と指示調整版で試した。
何が分かったか
第5版の表2では、7B基盤モデルをSearch-R1で訓練した設定の7データセット平均が0.431だった。同表の通常のRAGは0.304、正解した検索付き回答を選んで教師あり学習する比較法は0.348である。最良の比較法0.348からの改善は約24%という相対値で、24ポイント上がった意味ではない。3B指示調整版ではSearch-R1が0.325、通常のRAGが0.270で、相対的に約20%高い。
検索を使わずに推論だけを強化学習する比較法も設けた。7B基盤版でその平均は0.276、Search-R1は0.431だった。これは検索を学習の途中に組み込む価値を示すが、検索を何回使ったか、どんな情報源を使うかで費用や誤りも変わる。表の得点だけで実運用の優劣は決められない。
限界は何か
論文の「リアルタイム検索」は、推論の途中で検索器を呼ぶ仕組みを指す。評価で見せた資料は2018年版Wikipediaの固定コーパスであり、最新ニュース、社内文書、検索順位が変わるWebを測っていない。質問も短い答えがある課題で、出典を吟味した長い報告書や、答えが存在しない依頼は別の評価が必要だ。
また、Exact Matchは意味が同じでも表記が違えば不正解となる場合がある。モデルサイズや基盤版・指示調整版の違いも結果に影響する。表2の行を読む際は、同じモデルの比較を選ぶ必要がある。
仕事との接点
社内検索を使うAIを試すなら、回答だけでなく、どの段階で何を検索したか、古い資料や矛盾した資料に出会った時どうしたかを残す。検索結果の出典と更新日も確認し、見つからない時には推測で埋めず不足を示すかを測る。これはTRAIL編集部の提案であり、論文の得点を現在のWebや企業資料へ移すものではない。