- 研究チームは、質問に関係する文章を検索し、その情報を使って答えを生成する「RAG」を提案した。
- Wikipediaを知識源とする当時の公開質問応答課題で、検索しない生成モデルなどと比較した。
- 検索を組み込んでも、答えの事実性や出典表示が自動で保証されるわけではない。
何を確かめた研究か
言語モデルは学習した文章の知識を内部に持つ。一方で、その知識を後から更新したり、答えの根拠を示したりするのは難しい。原論文が扱った問いは、モデル内部の知識と、検索できる外部の文章を組み合わせれば、知識を問う課題でよりよい答えを作れるかというものだ。
RAGは「Retrieval-Augmented Generation」の略で、検索で補った生成を意味する。論文の仕組みでは、まず質問に関係しそうなWikipediaの文章を取り出し、生成モデルがその文章と質問から答えを作る。モデルの重みだけに知識を閉じ込めない設計を示した。ただし、検索結果を必ず正しく使う仕組みだとまでは言っていない。
どう検証したか
著者らは、2018年12月時点のWikipediaを約2,100万の短い文章片に分け、検索できる形にした。生成には事前学習した文章生成モデルを使い、質問と正答の組で追加学習している。論文では、同じ検索結果を答え全体に使う方式と、生成する語ごとに異なる検索結果を考慮できる方式を比較した。
主な評価は、Natural Questionsなど4つの公開質問応答データだ。答えが正答と一致したかを見る「Exact Match」を使い、検索を使わない生成方式、検索結果から答えを抜き出す方式と比べた。ほかに文章で答える課題、クイズ問題の生成、事実の判定も調べている。評価の対象は公開データであり、企業の非公開資料ではない。
何が分かったか
論文第4版の表1では、Natural Questionsの質問応答で、答え全体に同じ検索結果を使うRAG-Sequenceが44.5 Exact Matchを得た。同表の検索・抽出方式DPRは41.5だった。これは、このデータと比較条件での一致率である。複数の評価課題で、外部の文章を使う方式の有効性を示した。
検索結果の一部が答えを含まない場合でも、生成モデルが正しい答えを出す例がある。逆に言えば、答えが出たからといって、検索した文章がその答えを直接裏づけたとは限らない。論文が示したのは、検索と生成をつないだ構造と当時の課題での成績だ。出力に付いた出典が一文ずつ正しいことを証明した研究ではない。
限界は何か
外部知識は固定時点のWikipediaである。そこにない情報や更新後の情報について、この実験結果から性能を判断できない。論文は、Wikipediaだけでは答えられない質問が一部あることにも触れている。検索が関係のない文章を拾う場合、生成された答えをどう検証するかも別の問題だ。
また、公開質問応答の正答一致率は、社内規程の確認、契約書の読み違い防止、出典の監査と同じ評価ではない。特定の数値を、そのまま「社内検索AIの正答率」として使うことはできない。
仕事との接点
社内資料を使うAIを試すなら、まず「どの資料を検索対象にしたか」を明確にする。次に、正しい資料を見つけたか、見つけた資料から妥当な答えを作ったか、答えの各主張を資料で確かめられるかを分けて評価する。検索と生成を別々に点検するというのはTRAIL編集部の提案だ。原論文は、その手順による日本企業での導入効果を測っていない。