- SimpleQAは答えが一つに定まる短い事実質問4,326問を集め、正答、誤答、回答を控える場合を分けて測る。
- 第1版の表3ではGPT-4oの正答38.2%、誤答60.8%に対し、Claude 3.5 Sonnetは正答28.9%、誤答36.1%、回答を控えた割合35.0%だった。
- 質問は当時のGPT-4系に難しくなるよう選ばれ、長文の事実性や検索付き回答を直接測るものではない。
何を確かめた研究か
AIの長い回答にはいくつもの主張が含まれ、全てを正誤判定するのは難しい。SimpleQAの論文は、答えが短く一つに定まる事実質問に絞り、モデルが知っていることと知らないことを区別できるかを調べた。正しく答える能力に加え、確信のないときに回答を控える判断を見る。
SimpleQAは「正答」「誤答」「回答を試みなかった」の三つに回答を分類する。たとえば年だけを尋ねる問いと年月日を尋ねる問いを区別し、後から変わる事実はできるだけ除いた。これは採点しやすさのための設計であり、実際の業務質問がいつも一つの短い答えを持つという意味ではない。
どう検証したか
人の作業者が質問・正解・裏付けとなるウェブ資料を作り、別の作業者が独立に回答した。一致した問いだけを残し、二つの異なるドメインの資料があることも求めた。作問中には複数のGPT-4系モデルの回答を確認し、少なくとも一つが誤る問いを優先した。完成した集合は4,326問で、科学、政治、芸術、地理などにまたがる。
品質確認では無作為の1,000問を第三者が答え、食い違いを調べた。著者らは、曖昧な問いや資料同士の矛盾による集合の誤りを約3%と見積もる。正解表も完全ではないという点が評価の前提になる。採点にはChatGPTの分類器を使い、正答・誤答・未回答を区別した。
何が分かったか
第1版の表3ではGPT-4oは38.2%が正答、60.8%が誤答、1.0%が未回答だった。Claude 3.5 Sonnetは正答28.9%、誤答36.1%、未回答35.0%。正答率だけなら前者が高いが、後者は回答を控えることが多く、誤答の割合も低い。o1-previewは正答42.7%、誤答48.1%、未回答9.2%だった。正答の多さと誤答を避ける行動は別軸である。
質問はGPT-4に難しいものを意図して選んだため、この低い正答率を日常の質問全般に当てはめない。論文は、短い質問の正答率が長い文章の個々の主張の正しさへ一般化するかを、未解決の問いとして明記する。
限界は何か
参照資料にはWikipediaが多く含まれ、特定分野の一次資料で答える訓練とは異なる。作問にGPT-4系の誤答を利用しており、モデル間の差にはその選択が影響し得る。約3%という誤りの見積もりも、1,000問の抜き取りと採点器を前提とする。
さらに、評価は単一の短い正解を持つ問いで、複数資料の統合、最新情報の検索、長い説明の根拠付けを測っていない。回答を控える割合が高ければ安全と一概に言えず、正しく答えられる質問まで断る費用もある。
仕事との接点
社内FAQや事実照会を測るなら、正答率、誤答率、未回答率を一緒に記録する。答えを控える基準を変えたとき、誤答と有用性がどう動くかを確かめたい。これはSimpleQAの設計から導くTRAIL編集部の提案であり、論文が企業の問い合わせ対応を測ったわけではない。