- 投資銀行、経営コンサルティング、企業法務の仕事を模した480課題でAIエージェントを測った。
- 一回の試行で全条件を満たす率の最高値は24.0%。八回すべて成功する率はさらに低かった。
- 模擬環境の採点であり、専門職の仕事を何割代替できるかという値ではない。
何を確かめた研究か
AIが「専門職の仕事をこなす」と言うとき、単発の知識問題だけでは実態を測りにくい。資料を探し、複数のアプリを使い、依頼された形で結論を出す必要がある。APEX-Agentsの論文は、専門家が作った模擬案件で、AIエージェントがこの一連の作業を終えられるかを評価した。
投資銀行アナリスト、経営コンサルタント、企業法務の三職種が対象だ。目的は、各職種を丸ごと再現することではなく、文書や道具をまたぐ課題で、一度の試行と複数回の試行がどれほど違うかを見ることにある。
どう検証したか
33の模擬案件の中に、各職種160件、計480の課題を作った。案件ごとに平均166のファイルがあり、メール、文書、表計算、プレゼンテーションなどのアプリを使える。外部Web検索は再現性のため止めている。256人の専門家が案件や課題、採点基準の作成・確認に関わった。
八つのエージェントが各課題を八回ずつ実行し、合計30,720の実行記録を得た。課題ごとに必須条件を専門家が定め、別のAI判定器が提出物を採点する。全条件を満たした率をPass@1とし、八回中一度でも成功した率と、八回とも成功した率も調べた。判定器は人が付けた747件の条件別ラベルで照合した。課題ごとの必須条件は平均4.06件で、条件の一部だけ満たしてもPass@1には数えない。提出物が複数の要件を同時に満たす必要がある仕事を想定した設計だ。
何が分かったか
Pass@1はGemini 3 Flashが24.0%、GPT-5.2が23.0%で、両者の差は多重比較補正後に統計的に明確ではなかった。八回のうち一度でも通った率は、GPT-5.2が40.0%で最も高い。一方、八回とも通った率の最高値はGemini 3 Flashの13.4%。一度成功できる課題があっても、毎回安定して仕上げるとは限らない。
各条件を部分的に満たした仕事もある。Gemini 3 Flashの条件別平均得点は39.5%だった。ただし、必須条件の一つでも欠けば課題全体は失敗とする設計であり、部分得点をそのまま業務価値へ換算できない。
限界は何か
案件は現実を参考にした模擬環境で、実際の顧客や同僚との継続的なやり取りは含まない。480件中422件は画面上の返答が提出物で、ファイルの作成・編集は58件だった。採点にはAI判定器を使い、人手の照合は747の条件別ラベルに限る。同じGemini 3 Flashが評価対象と採点器の両方に使われた点にも注意が要る。論文は採点器を人手で検査しているが、全提出物が専門家に確認されたわけではない。外部Web検索を止め、案件の資料は用意したファイル内に置いている。実際の職場で起きる資料不足や、依頼途中の条件変更は、この得点には含まれない。
仕事との接点
社内の長い仕事をAIに試させるなら、必要条件を先に明文化し、一回の成功率と繰り返した時の安定性を分けて測りたい。部分的に役立つ成果物と、無確認で任せられる完了を区別する。これは論文の評価設計を応用する編集部の提案であり、この24.0%を特定企業の仕事の自動化率とは読めない。