- WebGPTは、テキストとして表示されたウェブを検索・閲覧し、参照箇所を集めてから長文の回答を書くよう学習した。
- ELI5の質問で、人の評価者は最良モデルの回答を、人が実演した回答との比較で56%、Redditの最多得票回答との比較で69%選んだ。
- 引用が付いた回答でも、出典の選び方や要約の誤りによって誤情報は残る。
何を確かめた研究か
言語モデルが長い質問に答えるとき、学習済みの記憶だけでは出典を追えず、もっともらしい誤りが生じる。WebGPTの論文は、モデルにウェブの検索と閲覧を行わせ、見つけた文章を参照しながら答えさせる方法を調べた。研究の狙いは、検索機能を付けるだけでなく、検索結果をどう使って回答を組み立てるかを人の実演と評価から学ぶことだ。
WebGPTはGPT-3を基にした。モデルはテキスト化されたブラウザーで検索、リンクの移動、文章の引用を行い、最後に回答を作る。人の評価者が事実関係を確認しやすいよう、閲覧中に集めた参照箇所を回答に添える設計を採った。
どう検証したか
研究チームはRedditのELI5に集まる、説明を要する質問でモデルを訓練・評価した。まず人がブラウザーを使って答える過程を実演し、それを模倣するよう学習させる。さらに人が二つの回答を比べた好みを予測する報酬モデルを使い、複数の候補から良い回答を選ぶ方式を試した。
評価ではWebGPTの回答と人の実演回答、またELI5で最多得票だった回答を比べた。後者の比較では、Reddit回答に通常は引用が付かないことを考慮し、モデル回答から引用と参照を外して評価した。選ばれた割合は、回答の全ての主張が独立に検証された割合ではない。評価者の好み、文章の分かりやすさ、参照資料の扱いも結果に関わる。
何が分かったか
模倣学習と報酬モデルによる候補選択を組み合わせた1750億パラメータのモデルは、64件の候補から選ぶ設定で、人の実演回答との比較で56%、Redditの最多得票回答との比較で69%、人の評価者に選ばれたと論文は報告する。多数の候補を生成・選択する費用を含む結果であり、単一の回答を出す設定の性能ではない。検索で得た材料を使いながら説明を書く能力を示すが、人間より事実上常に正しいという意味でもない。
著者らは、出典を添えることが評価者の判断を助ける一方、モデルが説得力のある引用を選んでしまう危険も記している。参照先が信頼できても、その文章から回答の結論が本当に導けるかは別の確認が必要だ。
限界は何か
WebGPTは検索しても誤答を作る。論文は、情報を言い換えたり複数の記述をまとめたりする過程で起きる誤りを例に挙げる。ELI5から外れた質問では、人より間違う場合もある。引用があるために回答が権威あるものに見え、利用者が過信する可能性も指摘した。
また、検索で見つかる情報そのものに誤りや偏りがある。論文の結果は、ウェブ上の出典が正しいことを保証しない。人の評価で選ばれる文章と、業務で使える正確な判断を同じ指標にしてはいけない。
仕事との接点
検索付きAIを試すなら、回答の読みやすさ、出典の信頼性、引用箇所が各主張を支えるかを別々に評価する。誤りが重大な用途では、回答を引用付きで出すことを人の確認の代わりにしない。これはWebGPTの設計と限界を踏まえたTRAIL編集部の提案であり、論文が業務での正確性を測った結果ではない。