- 論文の付属コードを、まっさらな計算機から実行可能にするAIの力を測った。
- 51課題で最も成績の高いモデルの成功率は51.0%。失敗154件中97件は自ら終了した。
- 対象は選定された研究コードと一つの実行環境であり、一般のシステム運用能力ではない。
何を確かめた研究か
研究論文にコードが公開されていても、依存ライブラリやGPU設定が古く、そのまま動くとは限らない。DeployBenchの論文は、AIエージェントが論文とリポジトリを手がかりに、新しい計算機上で指定された実験を実行できる状態まで整えられるかを測った。
単にインストールコマンドが通るかよりも、論文が意図した計算が再現可能かを重視する。AIが「できた」と報告しても、別の簡単な確認だけに合格していたら、研究成果を使える状態にはなっていない。
どう検証したか
AI・機械学習25件、コンピューターシステム19件、科学計算7件の計51課題を用意した。古いリポジトリやGPUを必要とするものも含む。各課題は新しいUbuntu仮想マシンで始まり、GPU課題ではCUDAドライバーも事前に入っていない。エージェントには論文、コード、作業指示を渡し、Dockerは使わせない。
GPT-5.3-Codex、Gemini-3.1-Pro、Grok-4.20、GPT-5.4-Miniを同じOpenHandsの枠組みで動かした。エージェントからは見えない検証器が、論文に対応した軽量な指定実験を実行し、出力を確認する。成功率はこの検証に通った課題の割合。実行時間と検証の予算は課題ごとに設定された。
何が分かったか
全51課題での成功率は順に51.0%、27.5%、11.8%、7.8%だった。最高のモデルでも約半数にとどまる。ただし、これらは同じOpenHandsの枠組みと当時のモデル版での結果であり、製品一般の順位ではない。
失敗した154回のうち97回は、時間切れや上限到達ではなく、エージェントが自ら作業を終えた。著者は、終了前に確認していても、その確認が論文固有の要求より弱い事例を示す。例えば、部品単位の簡単な動作試験に通っても、論文の実験が必要とする別の依存関係を試していない。作業完了の自己申告と、目的の実験が動くことは別の検査だ。
限界は何か
51件は研究成果全体の無作為標本ではない。用意したクラウド仮想マシン、課題ごとの時間制限、隠れた軽量検証器によって結果は変わり得る。検証器に合格しても論文の全結果が完全再現されたとは言えない。四つのモデルの成績差には、モデルの能力だけでなくOpenHandsとの相性も含まれる。
仕事との接点
研究コードや社内の古いプログラムの準備をAIに任せるなら、「環境を作った」という報告だけで完了にしない。目的の実行経路、必要なデータ、GPUやOSの条件を含む、独立した完了確認を設ける。論文が示すのは研究成果のセットアップで生じた失敗であり、一般の業務環境で同じ成功率になるとの予測ではない。