- 実際のフリーランス開発依頼を使い、AIが修正を完了できるか、実装案を選べるかを測った。
- 第4版の全1,488課題では、調べたモデルのうち最良でも合算の初回成功率は33.7%だった。
- 対象は特定の公開リポジトリに寄った課題で、報酬額は一般企業の自動化効果を示さない。
何を確かめた研究か
SWE-Lancerの原論文・第4版は、コードを書くAIを、実際のソフトウェア開発依頼に近い課題で測ろうとする。従来の短い関数生成や、GitHubの課題からテストを書きやすい例を選ぶ評価だけでは、仕事としての完了を捉えにくい。著者らは外注サイトUpworkに掲載された依頼を基に、コードを直す独立作業と、複数の実装案から適切な提案を選ぶ管理作業を集めた。
論文の初公開は2025年2月17日。この記事は同年5月29日提出の第4版を読む。タイトルの「100万ドル」は、課題に対応する実際の報酬総額であり、AIが稼いだ額ではない。
どう検証したか
全体のSWE-Lancer Fullは1,488課題で、独立開発764件、管理判断724件から成る。報酬総額は100万ドル。公開評価用のDiamondは502課題、約50万ドル相当の部分集合である。独立開発では、モデルが既存のコードベースを操作し、提出した変更が課題ごとの最終テストを通るかを判定する。管理判断では、実際に採用された提案との一致を調べる。
著者らは、GPT-4o、o1、Claude 3.5 Sonnetを同じ課題群で比較した。ここでのpass@1は、各課題を1回試したときに通った割合を意味する。報酬換算は合格した課題に対応する額を足した指標であり、AIを運用した後の純利益ではない。
何が分かったか
第4版の表1では、全1,488課題を合算したpass@1がGPT-4oで23.3%、o1で32.9%、Claude 3.5 Sonnetで33.7%だった。最良のモデルでも約3分の2の課題は一回で通らない。独立開発だけを見ると、全764件でClaude 3.5 Sonnetは21.1%。一方、管理判断の724件では47.0%だった。同じ「開発」の中でも、コード修正と案の選択は難しさが異なる。
報酬換算では、Claude 3.5 Sonnetが全課題で約40.3万ドル相当を獲得した計算になる。ただし、これは実際に受注して納品した収入ではなく、用意したテストと正解に照らした得点である。著者らの費用分析も、API価格、失敗後の人への引き継ぎ、試行回数を仮定しており、そのまま企業の削減額にはならない。
限界は何か
著者らは、課題がUpwork上に掲載されたExpensifyの依頼と同社の公開リポジトリに由来し、分野やコードベースの多様性が限られると記す。フリーランス依頼は、社内の長期開発より自己完結している場合も多い。インフラ運用の課題は少なく、モデルは質問で仕様を確認できない。動画や画面表示も評価では十分に使えず、マルチモーダルな実務とは条件が違う。
また、公開リポジトリを使う以上、学習データへの混入も懸念される。2025年の評価結果を、現在のモデル能力として読むこともできない。
仕事との接点
自社で開発AIを試すなら、過去の実際の依頼を権限を制限した環境で再現し、単なるコード変更ではなく最終テスト、レビューの指摘、修正後の不具合まで記録する。提案選択と実装完了は別々に測る。これはTRAIL編集部の提案であり、SWE-Lancerの得点から自社の費用対効果を予測するものではない。