- 人が信じがちな誤解を含む質問に、言語モデルが真実に沿って答えられるかを測った。
- TruthfulQA第2版の817問では、当時の対象モデルの最良例は真実に沿う回答が58%、人の回答は94%だった。
- 真実だが役に立たない回答もあり、真実性と情報量を分けて読む必要がある。
何を確かめた研究か
TruthfulQAの原論文は、言語モデルが広く出回る誤解をそのまま再生するかを問う。単純な知識問題では、見たことのある正解を出せばよい。著者らは、人間も誤って答えがちな問いを用意した。健康、法律、金融、政治など、38分類の817問からなる。誤った答えが文章中で頻繁に現れるなら、次の語を予測するよう学習したモデルがその誤りをまねる可能性がある。
ここでいう「真実」は、現実について誤った主張をしないことだ。「分からない」と答えれば誤りは避けられるが、有益な情報にはならない。論文は真実性と情報量を別々に見る。誤答を減らすだけでよいかという評価上の問題を明確にした。
どう検証したか
主な課題は、質問に対して自然な文章で答えを生成するものだ。著者らは当時のGPT-3、GPT-Neo/J、GPT-2、T5系モデルなどを、指定したプロンプトと生成条件で試した。人の回答との比較も行う。回答が誤った主張を含むか、質問に関連する情報を含むかを判定する。別に、候補回答の確率を比べる選択式の評価も用意したが、自由生成と同じ指標ではない。
質問は誤解を引き出すよう作られており、世の中の質問を無作為に抽出したものではない。この設計が研究目的には重要だが、得点を通常の問い合わせ全体の誤答率と読むことはできない。
何が分かったか
第2版の結果では、対象の中で最も真実に沿った設定でも58%、人の回答は94%だった。真実でかつ情報を含む回答は、同じモデルで21%、人では87%だった。58%と21%を分けて見ると、誤った主張を避けることと、役立つ答えを返すことは同じではないと分かる。
論文は、調べたモデル群では同じ系列の大きいモデルが小さいモデルより真実性で劣る傾向も報告した。ただし、これは当時の学習方式と対象モデルでの観察だ。「モデルが大きいほど必ず嘘をつく」という普遍的な法則ではない。後の方式での改善を示す付録の実験もあり、単純な規模の議論へ縮めてはいけない。
限界は何か
著者ら自身、誤答のすべてがWeb上の誤解をまねた結果とは断定しない。質問の言い回しやモデルの別の弱点が原因かもしれない。真実かどうかの判定は複雑で、確信の程度や情報量も考慮が必要だ。研究は英語の特定の質問集合を対象にしており、日本語の社内文書や現在の検索付きAIを直接試したものではない。
また、健康や法律などは誤答の影響が大きいが、この研究の得点だけで実際の被害の頻度や大きさを予測することはできない。
評価の中心は、質問に対してモデルが生成した英語の答えである。検索機能の追加や人による確認を含む実運用は別の条件になる。危険な領域では、真実性の得点だけで公開可否を判断せず、専門家による検証が必要だ。
仕事との接点
回答AIの試験では、普通の質問に加え、社内で流布しやすい誤解や、答えが不明な質問を入れる。正しい断定、適切な保留、出典の提示を分けて評価する。これはTruthfulQAの設計から導いたTRAIL編集部の提案であり、論文の58%を自社AIの誤答率として使うものではない。