- 研究チームは、専門家が実際に行った仕事をもとに、AIエージェントを評価する「Agents' Last Exam」を作った。
- 論文の最新版では、最も難しい課題群の完全達成率は、主な評価設定の平均で1%未満だった。
- これは研究用の課題で測った結果であり、日本の職場での導入効果を示す数字ではない。
何を確かめた研究か
AIエージェントは、指示を受けて複数の道具を使い、作業を進める仕組みだ。試験問題に正しく答えられても、仕事を最後まで終えられるとは限らない。資料を探し、ソフトウェアを操作し、成果物を仕上げる力をどう測るか。研究チームの論文「Agents' Last Exam」は、この問いから出発している。
論文が扱うのは、パソコン上で進む専門業務だ。米国の職業分類を参考に、対象を13の分野、55の下位分野に整理した。専門家が過去に取り組んだ仕事を課題の材料とし、入力資料、使うソフトウェア、期待される成果物、採点方法を定めている。短い操作の正解率だけでなく、複数の手順を経て成果物を完成できるかを測る研究だ。
どう検証したか
課題には、画面上のアプリ操作に加え、コマンドの実行やファイル編集などを含む。成果物や途中の達成事項を、研究チームが用意した基準で確認する。採点では、必要な条件をすべて満たした「完全達成率」と、途中まで進んだ分も含む点数を分けている。途中点が高くても、仕事を終えたことにはならない。
研究チームは課題を難しさで3段階に分け、複数のエージェントとモデルの組み合わせを評価した。同じモデルでも、どの道具をどう使わせるかという仕組みが違えば、結果は変わる。したがって、表の数字はモデル単体の能力や、製品の一般的な順位を示すものではない。
何が分かったか
2026年10月9日改訂の第3版では、最も難しい「Last-Exam」の課題群で、主なエージェントとモデルの組み合わせの完全達成率は平均1%未満だった。達成できなかった課題にも途中まで進んだものがあるため、論文は途中点も別に示している。難しい専門業務では、「作業を進めた」と「完了した」の差が大きい。
一方、難易度を下げた「Near-Term」の課題群では、組み合わせによって完全達成率が約4割に近づいた。論文の数字から言えるのは、対象業務と評価条件で結果が大きく変わることだ。「AIが仕事の何割を代替できる」という割合には読み替えられない。
研究チームは失敗の一部を分析し、課題の理解や進め方に関する失敗が多いと報告した。専門ソフトウェアの画面操作が求められる場面でも、エージェントが別の方法で進めようとする傾向を記している。これは特定の評価対象についての分析であり、すべてのAIエージェントに共通する失敗率ではない。
限界は何か
対象は、画面やファイルを通じて進める仕事に絞られている。日本の会社の仕事を抽出して検証した研究ではない。課題の出自は実務でも、採点は研究チームが設計した環境と基準に従う。この結果だけで、自社の業務の自動化率や費用対効果は決められない。
また、論文は全課題を同じ形で公開しているわけではない。公開された評価対象での結果を、研究全体の課題や産業全体へそのまま広げることにも注意が要る。
仕事との接点
この研究が示す実務的な問いは、AIに何を任せるかを「会話がうまいか」だけで決めてよいか、ということだ。試すなら、自社の作業を入力資料、使う道具、完成条件に分け、最後に成果物が条件を満たしたかを見る。これは論文の評価方法を社内の検証に当てはめる、TRAIL編集部の提案である。論文は、その方法による日本企業での改善効果までは測っていない。