- 検索文書を短くしてからAIへ渡すと、回答の引用は元の文書でも裏づけられるかを調べた。
- ある要約方式のASQA試験では、引用の精度が要約に対して0.86、元の文書に対して0.12と出た。
- 数値は自動判定器と原文への対応づけの規則に依存し、人による裏づけ率ではない。
何を確かめた研究か
社内文書を検索してAIに答えさせる仕組みでは、長い検索結果を短くして入力費用を抑えることがある。AIが短縮後の文章を引用していても、その文が元の資料のどこから来たか分からなければ、根拠の確認は難しい。この論文は、圧縮された文面を根拠にした引用と、元の文書まで戻せる引用を分けて評価した。
特に、要約器が作った文章をAIが引用した場合、その文章と回答が一致しても、原文の裏づけがあるとは限らない。著者はこれを、圧縮後の文章に対する評価だけで根拠があるように見えてしまう問題として扱う。
どう検証したか
曖昧な事実質問のASQAと、研究論文について尋ねるQASPERの二集合を使った。共通して成功した質問はそれぞれ944問、976問。検索結果の並べ替え、原文からの抜き出し、要約、語の間引きなどで入力を短くし、回答生成器には同じQwen2.5-7B-Instructを用いた。
引用を二通りで採点した。一つはAIが実際に見た短縮後の文面が回答を支えるか。もう一つは引用を検索元の文書の箇所に戻し、その原文が支えるか。原文の箇所が明示されない方式では、類似する箇所を探して対応づける。含意の判定には同じDeBERTa系モデルを使った。比較には、指定した圧縮率だけでなく実際に到達した圧縮率を用いた。要約器は指定された長さより短い文章を返すことがあり、名目上同じ25%の設定でも、実際にAIが読んだ情報量は方式ごとに違う。
何が分かったか
ASQAでRECOMP型の要約を使い、元の長さの25%を指定した条件では、実際の圧縮後の長さは約8%だった。引用の精度は要約文面に対して0.86、元の資料に戻して採点すると0.12。回答中の主張が支えられない率も、要約を調べると0.17、元資料の回復後に調べると0.88だった。短縮後の文面と整合することは、原文に根拠があることと同じではない。
ただし、この差には原文への対応づけに失敗した場合も含まれる。元資料に根拠が存在しない割合を直接測った値ではない。原文から文を抜き出す方式では引用元を保ちやすいが、論文は回答品質との両立も必要だとする。
限界は何か
主な数値は一つの回答生成器と一つの含意判定器に依存する。同じ判定器を原文箇所の探索と根拠評価の両方に使い、誤りが連動する恐れがある。独立した人手による裏づけ率への校正もない。原文への対応づけは候補数が限られ、見つからなかっただけで低く採点された可能性がある。要約方式と抜き出し方式は実際に達した圧縮率も違い、同じ名目予算での得点差を方式そのものの優劣と断定できない。論文自身も、引用が原文に支持されることと、AIが実際にその原文を使って答えたことは区別している。
仕事との接点
検索・要約を挟む回答システムを評価するなら、利用者に見せる引用が元資料の箇所へ戻れるかを確認したい。圧縮後の要約だけで根拠を採点せず、到達した圧縮率、回答品質、原文に対する引用評価を併記する。これは論文の測定設計からの編集部の提案であり、数値を別の社内文書システムに当てはめるものではない。