- RAGBenchは約10万件の質問・検索文書・回答を集め、検索と回答の失敗を四つの観点で見る。
- 第2版の表3では、学習済みのDeBERTa判定器が複数のLLM評価法と競争力のある結果を示した。判定器の優劣はデータセットと指標で変わる。
- 多くの正解ラベルはGPT-4で生成され、人手との照合は一部のデータに限られる。
何を確かめた研究か
検索拡張生成（RAG）では、回答に誤りがあったとき、検索が必要な情報を見つけられなかったのか、生成モデルが情報を使い損ねたのか、文書にない内容を付け加えたのかを分けたい。RAGBenchの論文は、こうした区別を可能にする評価データとTRACeという指標群を提案した。
TRACeは検索文書の関連性、文書のうち回答に利用された割合、回答が文書に裏付けられるか、回答が必要な関連情報を取りこぼしていないかを扱う。一つの正答率より原因に近づける設計だが、指標の高低だけで実務上の十分性を決められるわけではない。
どう検証したか
第2版は生物医学、一般知識、法務、顧客サポート、金融の5分野から既存データを組み合わせ、約10万件のRAG事例を訓練・検証・テストに分けた。文書の長さや質問の作り方は元データごとに違う。論文はGPT-4を使い、検索文書内の関連箇所と利用箇所、回答の各文が文書で支えられるかを付与した。網羅性は関連箇所と利用箇所から計算する。
ラベルの妥当性は、車の取扱説明書を使うDelucionQAの人手ラベルと比較した。第2版の表2では、「どちらでもない」と付いた事例を除いた後、回答全体に根拠があるかの一致率が93%、文単位の一致率が95%だった。除外前の回答全体の一致率は付録の表4で76%である。一方、関連箇所の照合は40件の小標本で、正確さの一致率が78%にとどまる。各分野の全ラベルが人手で保証されたわけではない。
何が分かったか
第2版の表3は、幻覚した回答の検出をAUROC、関連性と利用率の推定をRMSEで比較する。訓練データで追加学習したDeBERTa判定器は、12の構成データセットの多くでGPT-3.5、RAGAS、TruLensと競争力があった。たとえばHotpotQAの幻覚検出AUROCはDeBERTaが0.85、GPT-3.5が0.59。ただしDelucionQAではRAGASが0.70、DeBERTaが0.64で、全分野で一つの判定器が勝つわけではない。
論文の事例分析では、検索文書の量や生成モデルの指示を変えると、関連性や利用率などの指標が別々に動いた。RAGの改善を「回答が正しいか」だけで評価すると、検索側と生成側の異なる課題を見落とし得る。
限界は何か
約10万件という規模でも、ラベルの大部分は同一のGPT-4による自動付与だ。DelucionQAでの人手照合は有益だが、法務や医療など全分野で同程度の一致を示すものではない。論文は関連性の推定が利用率より難しいと述べ、判定器とラベルの間にもなお差があると認める。
第2版の要旨には比較モデルとしてRoBERTaとある一方、本文の表3と結論はDeBERTaと記す。この記事の比較結果は本文の表3に従った。バージョンや実装を調べるときに要旨のモデル名だけを転用しない。
仕事との接点
社内文書を使うRAGなら、失敗例を「検索漏れ」「余計な検索」「文書を使わない回答」「文書にない回答」に分けて記録できる。自動判定器の得点をそのまま品質保証にせず、自社の質問と文書で人手の抜き取り照合を行う。これはTRACeの区分を業務評価へ移したTRAIL編集部の提案であり、論文が特定企業の運用成果を測ったわけではない。