- 2024年の職場業務ベンチマーク WorkBench を、2026年6月に24モデルで測り直した論文だ。
- 論文は、2024年の最良 GPT-4 の完了率43%（改訂前の課題）に対し、2026年の最良モデルは97.7%と報告する。誤った操作を含む課題の割合も下がった。両者は課題の版が同じとは限らない。
- 結果は簡素な模擬環境のもので、著者は実際の信頼性としては楽観的な見積もりだと述べている。
何を確かめた研究か
AIエージェントは、メールやカレンダーなどの道具を使って作業を進めるAIだ。2年前に出たベンチマークの WorkBench を同じ枠組みで測り直すと、進歩はどの程度か。著者らの論文は、この問いを扱う。論文によれば、2024年3月に最良だった GPT-4 の完了率は43%だった。これは元の報告値で、改訂前の課題を ReAct（考えて道具を使う手順）の枠組みで採点した結果だ。
論文は進歩の中身も見る。完了率のほかに、宛先違いのメール送信のような誤った操作と、1課題あたりの費用を比べている。
どう検証したか
環境は、5つのデータベースと26の道具、テンプレートから作った690課題で構成される。採点は、作業後の環境の最終状態を正解と比べて行う。AIによる判定は使わない。誤った操作を含む課題の割合は、別の指標として数える。
評価したのは、2023年3月から2026年6月に公開された24モデルだ。温度（出力のばらつきを決める設定）は、可能なら0にした。1課題あたり最大20手順で最終状態に到達させる。今回、著者らは採点の集計の不具合や、採点される分岐と合わない指示文などを直した版も公開した。直した結果、同じ方法で再採点した GPT-4 の完了率は旧版の49%から修正版の57%に変わった。この49%は上の43%と別の測定で、論文は両者の差を説明していない。著者は8ポイントの上昇を、モデルの向上ではなく課題が公平になった結果だと述べる。
何が分かったか
論文によると、2026年の最良の Claude Fable 5 の完了率は97.7%（要旨では98%に丸めている）、誤った操作を含む課題は1.9%だった。誤った操作を含む課題の割合は、GPT-4 では26%（改訂前の課題）だった。2026年の結果が修正版の課題による値かは、読めた範囲で明記が確認できなかった。そのため43%と97.7%、26%と1.9%は、課題の版が異なる可能性を含む比較として読む。著者は、多くを完了するモデルほど意図しない被害も少ないと述べている。
費用では、Qwen3.5 が費用0.003ドル、完了率71%だった。著者はこれが 2024年の最良だった GPT-4 を約100分の1の費用で上回ると述べる。最前線のモデルの費用は安定している。要旨は、オープンウェイト（重みが公開されたモデル）の普及で同じ水準の費用が大きく下がったと述べる。
誤りが消えたわけではない。論文は、最前線のモデルでも基本的な誤りがときに取り返しのつかない被害につながると述べる。別の箇所では、GPT-5.5 が @example のアドレスにメールを送った例を1件観察したと記す。
限界は何か
著者は、模擬環境が実際の職場より簡素で、完了率は実運用の信頼性としては楽観的な見積もりだと記す。費用は、キャッシュなしの上限として、トークン長の推定から出した値で、請求額ではない。非公開の検証用課題がなく、課題と正解は検索で拾われうる。能力の向上と暗記の区別も、きれいにはつけられないという。（編集部の注意：モデル間の比較は、同一の環境と手順の範囲に限って読む。）
仕事との接点
自社でエージェントを試すなら、完了率だけでなく、誤送信や誤更新が起きた割合と、取り消せない操作の有無を別に記録したい。費用も、同じ課題で並べて測る。これは論文の指標設計を参考にした編集部の提案であり、97.7%という値は導入後の成果の予測にはならない。