- 人には比較的答えやすく、AIには複数の能力が必要な問いを設計した。
- GAIAの466問では、当時の比較で人の正答率が約92%、プラグイン付きGPT-4が約15%と報告された。
- 正解は最終回答で判定し、途中の操作が安全か正しかったかは評価していない。
何を確かめた研究か
GAIAの原論文は、専門家だけが解ける難問とは異なるAIアシスタントの評価を提案する。人はWebを調べ、画像や表計算ファイルを読み、情報をつなげて短く答えられる。しかし、単一の知識問題を解くモデルが、こうした日常的な調査を最後までこなせるとは限らない。著者らは、一般的なアシスタントに必要な推論、Web閲覧、道具使用、複数の形式の扱いをまとめて問う課題を作った。
題名の「General」は、あらゆる業務を測るという意味ではない。短い正答が決まる、人が作成・確認した質問に限定している。複数の能力を組み合わせた結果を、最終回答で確かめるのが評価の中心だ。
どう検証したか
GAIAには466問があり、日常の用事、科学、一般知識などを含む。問題文に画像や表計算ファイルが付く場合もある。答えは数値や短い文字列などに絞り、表記ゆれを正規化したうえで正解と照合する。問題と答えをすべて公開するのではなく、一部の答えを伏せて順位表の評価に使う。論文は難度を三段階に分け、必要な能力と課題の構成も説明する。
比較対象は、人の確認者、Web検索結果だけを使う方法、当時のGPT-4、プラグインを選んで使うGPT-4、AutoGPTなどだ。プラグイン付きGPT-4はAPIから同じ条件で自動実行できず、人がプラグインを選んで手動で評価した。したがって結果の再現条件には注意が必要だ。
何が分かったか
論文の要旨は、人の正答率が約92%、プラグイン付きGPT-4が約15%だったと報告する。詳しい表では難度ごとの成績が分かれ、特に難しい課題で差が大きい。これは2023年のモデル、道具、課題、手動設定の組み合わせでの結果だ。2026年に使えるAIの一般的な正答率を示す数字ではない。
GAIAの利点は、最終回答を比較しやすく、情報を探すだけでなく結び付ける力を問えることにある。一方、短い正解が偶然出た場合でも、途中の探索の質は点数からは見えない。
限界は何か
論文のLimitations節は、正解へ至る経路を評価していないと明記する。違う手順から同じ答えに至るため、自動で手順の正しさを採点しにくいからだ。どのサイトを見たか、ファイルを安全に扱ったか、誤った情報を途中で広めたかは、最終回答の点数だけでは判断できない。
正答が短い形式で定まるよう、質問の曖昧さを減らす作業にも費用がかかる。論文は問題作成時に複数回の確認が必要だったと説明する。社内の自由な相談を同じ形式の一問一答へ置き換えることは難しい。
また、Web上の情報や道具が変わると問題が古くなる。閉じたAPIのモデルやプラグインは時間とともに挙動が変わり、論文当時の条件を再現しにくい。これはベンチマークの保守に関わる問題である。
仕事との接点
社内のアシスタントを試すなら、資料を探して答えを出す課題を作り、答えの正しさと情報源、途中の操作を別々に確認する。個人情報や機密情報の扱いも評価に含める。GAIAの結果は手掛かりになるが、その得点を社内調査の成功率と見なさない。これはTRAIL編集部の提案である。
課題の答えは定期的に見直す。