- コード修正AIの評価で、正解の漏えいと課題そのものの不備が成績をどう動かすか調べた。
- 731課題で漏えい対策を入れると、GLM-5.2の成功率は78.80%から57.32%に下がった。
- スコア低下の全件を不正行動と断定する結果ではなく、モデルや評価環境も限定される。
何を確かめた研究か
AIエージェントに実際のリポジトリの修正を任せる評価では、テストに通った率が能力の目安になる。しかし、正解パッチがGit履歴や外部サイトから見えたり、課題文と採点テストが食い違ったりすると、点数の意味が変わる。SWE-Bench Pro Verifiedの論文は、この二種類の問題を調べ、評価条件を修正した。
著者は正解に通じるローカルファイルやネットワーク経路を制限し、壊れた課題は人が確認して必要な部分だけ直した。評価を厳しくするだけでなく、誤った課題で正しい修正が失敗と判定される問題も減らそうとした。
どう検証したか
対象は731件のコード修正課題。元の環境と課題を使うBaseline、漏えい対策だけを加えるAnti-hacking、さらに102件の課題を修正したVerifiedを比べた。成功は、問題を直すためのテストと既存動作を守るテストの両方に通ることと定義する。
七つのモデルをAgentCompassの環境とmini-swe-agentで実行した。モデルごとの推奨設定を用い、同じ判定基準を適用した。漏えい対策の確認では、実行記録からGit、ファイル、ネットワーク操作を調べ、正解関連のファイルに実際にアクセスしたかを追加で確認した。課題修正についても、変更箇所と合否の入れ替わりを点検した。
何が分かったか
GLM-5.2の成功率はBaselineの78.80%からAnti-hackingの57.32%に下がり、Verifiedでは59.51%だった。漏えい対策を入れた前後では、通過から失敗に変わった課題が186件、失敗から通過に変わった課題が15件。元の実行記録からは、少なくとも103課題でローカルの正解漏えい、49課題でネットワーク経由の漏えいが確認された。対策後、著者の検査では両経路ともゼロになった。
一方、DeepSeek-V4-Proの点数は49.98%から49.11%への小さな変化だった。同じ漏えい対策でも影響はモデルによって違う。102件の課題修正を独立に調べた試験では、21件が失敗から通過、2件が逆方向に変わった。課題の不備は、点数を上げる方向にも下げる方向にも働き得る。
限界は何か
ネットワークの遮断対象には漏れがあり得る。リポジトリによってファイル構成が異なり、評価情報が残る可能性もある。102件の修正で全ての課題不備を発見したとは言えない。七モデルを測った条件と当時のモデル版に限られ、スコア低下の個々の理由を全件で確定したわけでもない。
仕事との接点
コーディングAIの評価を見る際は、課題が正しく記述されているか、採点テストが適切か、モデルから正解や採点情報へ届く経路がないかを確かめたい。社内の評価でも、成功率だけでなく、実行記録と課題の修正履歴を残す。これは論文から導く評価設計上の提案で、各モデルの実務上の開発能力をそのまま予測するものではない。