- AgentlessはAIに次の道具操作を自由に選ばせず、不具合の場所を探す、修正案を作る、検証するという三段階で動く。
- 第2版のSWE-bench Liteでは300件中96件、32.0%を解き、平均API費用を1件0.70ドルと報告した。
- 問題文に正解パッチが含まれるなど評価集合側の問題があり、著者らは249件のLite-Sも作った。そこでは84件、33.73%だった。
何を確かめた研究か
ソフトウェアの不具合を修正するAIには、コマンドを実行し、結果を見て次の行動を選ぶエージェントがある。一方、自由な行動計画が常に必要かは別の問いだ。Agentlessの論文は、作業を修正箇所の特定、パッチ生成、候補の検証に固定した方法を提案した。
この方法は、LLMが自由に次の操作を計画する構成ではない。まず問題文から関係するファイルや関数を絞り、候補の修正を複数作り、リグレッションテストや問題を再現するテストで候補を選ぶ。簡潔な流れを基準線に置くことで、複雑なエージェントの追加機能がどれだけ効いているかを考えやすくする。
どう検証したか
第2版はGitHubの実際の修正を基にしたSWE-bench Liteの300件で評価した。AgentlessにはGPT-4oを使い、問題が解けたかを既存のテストで判定する。論文の表1は各手法の解決件数、平均API費用、修正箇所の特定率を並べる。ただし比較手法は使用モデルや実装、公開情報が揃っていないものも多い。
著者らは問題文を人手で調べ、正解パッチがそのまま含まれる、説明が足りない、誤解を招くなどの問題も発見した。該当例を外した249件をSWE-bench Lite-Sと呼び、同じ手法群を再集計した。ベンチマークの順位だけでなく、問題そのものの品質を確かめた点が研究のもう一つの柱だ。
何が分かったか
表1のAgentlessは96/300件、32.0%を解き、平均API費用は1件0.70ドルだった。同じ表のSWE-agentをGPT-4oで動かした行は55/300件、18.33%、2.53ドルである。しかしそれぞれの構成や探索方法は違い、同じ名前の基盤モデルを使っただけで厳密な一要因比較にはならない。表1には43.0%に達した別の手法もあり、全手法で最高という結果ではない。
Lite-SではAgentlessが84/249件、33.73%。元の32.0%から数字が変わるのは、分母と問題集合を変えたためだ。第2版の表5でも全体順位は9位であり、「一番」という要旨の言葉は、当時比較した公開実装という範囲に限定して読むべきである。
限界は何か
パッチ検証に使う再現テストは、モデルが問題文から作ったものなので、そのテスト自体が誤っている場合がある。論文は、正解パッチに対して期待どおり動くかを調べるが、全ての候補が自動的に正しく判定されるわけではない。既存テストを通っても、別の入力での回帰や保守性を保証しない。
費用0.70ドルは論文のAPI価格と候補生成数による値で、現在の価格や開発者の確認時間を含む総費用ではない。SWE-bench Lite-Sの除外基準も著者らの人手判定に基づく。ほかの言語や大規模な社内リポジトリで同じ解決率が出るとは言えない。
仕事との接点
コード修正を自動化するなら、最初にAgentlessのような単純な流れを基準にし、自由な道具操作でどの問題が新たに解けるかを測る。成功件数に加え、誤修正の回数、確認時間、テストの取りこぼし、費用を記録したい。これは論文の比較方法から導くTRAIL編集部の提案であり、論文が企業の開発工程での生産性を測ったわけではない。