- Self-RAGは、回答の途中で検索が必要かを選び、資料や生成文を特別なトークンで評価するよう学ぶ。
- 7Bと13Bのモデルを用い、質問応答、事実確認、長文生成などで比較した。
- 引用の正しさが改善しても、モデルの自己評価が人による根拠確認を不要にするわけではない。
何を確かめた研究か
検索した文書を言語モデルに渡すRAGは、モデルが元から覚えた情報だけで答える時の誤りを減らせる。しかし、どんな質問にも同じ件数の資料を付けると、不要な文書が回答を乱すこともある。Self-RAGの原論文は、検索するかどうか、取得した文書が役立つか、作った文が文書に支えられるかを、モデル自身の生成過程へ組み込めるかを調べた。
そのために「reflection token」と呼ぶ特別な記号を使う。モデルは回答の区切りごとに、検索の要否や根拠との一致を表す記号を生成する。これは言語モデルが自分で情報の流れを制御する仕組みであり、外部の検索結果が真実だと証明する仕組みではない。
どう検証したか
著者らは、検索の要否、取得文書の関連性、文書による回答の支持などに関する訓練用の判断を作り、生成モデルへ反映させた。推論時には、検索した候補文書と生成文を評価しながら続きを選べる。7Bと13Bのモデルを使い、開かれた質問応答、推論、事実確認、長文の回答など複数課題で比較した。
評価には回答の正確さだけでなく、長い文章に付く引用が参照文書に合うかという指標も含む。質問ごとに検索が必要な度合いは違うため、毎回同数を検索する方法との比較が要点である。ただし、検索器と文書集合の条件が違えば、同じモデルでも結果が変わる。
反省用の記号には、検索するか、文書が関連するか、回答が文書に支えられるか、回答が役立つか、という異なる判断がある。論文では回答を区切って生成し、候補の文書ごとに続きを比べる。これらの訓練用判断を作る過程では、別のモデルによる評価も用いた。したがって、単一モデルだけを起動すれば全ての監督が不要になる方法ではない。検索を抑える設定と引用を重視する設定の釣り合いも推論時に変えられる。
何が分かったか
論文で扱ったタスクでは、Self-RAGが比較した言語モデルや検索拡張モデルを上回る結果を報告した。長文生成では、事実性と引用の正確さに改善を示す。検索するかを適応的に選ぶ設計と、取得文書への自己評価を出力へ組み込む設計が寄与したという分析もある。
結果の範囲は、使用した文書集合とベンチマークに限られる。「引用が付く」ことと「引用が本当に主張を裏付ける」ことは違い、後者を測った範囲にも評価手順がある。生成した自己評価記号も、確率的なモデル出力であり、外部の監査結果とは異なる。
限界は何か
検索器が必要な資料を見つけられなければ、後段の自己評価だけで正しい根拠は補えない。取得した文書が古い、矛盾する、または誤っている場合にも、もっともらしい引用を作る可能性が残る。検索を省く判断そのものが間違う場合もある。評価した英語中心の課題から、専門領域や日本語の社内資料での成績を直接推定できない。
また、反省用の記号を学ぶための訓練データと推論時の候補評価には計算が要る。固定の検索手順より運用が常に簡単になるとは言えない。
仕事との接点
社内文書から回答させるなら、検索不要な質問、検索必須の質問、資料に答えがない質問を分けて試す。回答中の各主張が引用先のどの箇所で支えられるかも確認する。これはTRAIL編集部の提案であり、原論文は特定企業の情報管理や引用責任を検証していない。