- 長いAIエージェントの作業で、どの一手から失敗が始まるかを調べた。
- 人が最初の誤りを付けた評価では、最良の判定モデルでも開発とPC操作の正確な位置特定は三割前後だった。
- 「一つの最初の誤り」で捉えにくい、徐々に崩れる失敗もある。
何を確かめた研究か
長い作業の最終結果が失敗だったとしても、最後の操作だけを見ても原因は分からない。Traverseの論文は、エージェントが最初に誤った段階を見つけられるかを問う。対象はソフトウェア開発、PC操作、科学研究の三領域。結果だけでなく、途中経過を点検する評価方法を示した。
どう検証したか
研究全体では2,620の実行軌跡を集めた。公開評価用のTraverseは1,423軌跡、44,341ステップで、失敗軌跡の最初の誤りを人が注釈した。注釈者の一致度は、誤りの有無でCohenのκ=0.77、位置で0.73。誤りの種類は別にAI判定器で分類したため、細かい分類を人手の確定ラベルと混同しない。六つの判定モデルに最初の誤りを探させ、さらに4Bパラメータの専用判定器Scoutを学習させて比べた。
何が分かったか
最良の判定モデルの正確な位置特定率は、ソフトウェア開発で26.8%、PC操作で32.3%。結果として失敗したかだけを見分ける方が容易だったが、正しい実行を誤って失敗扱いするモデルと、実際の失敗を見逃すモデルがあった。分析では、最初の誤り後に最終的な課題成功へ回復したのは30.5%で、38.5%は自ら誤りを検知しなかった。Scoutで複数の実行候補から一つを選ぶと、Terminal-Bench 2.0の成功率は81.8%から90.2%、SWE-Bench Verifiedは75.6%から78.0%になった。これは候補を追加生成した後の選択であり、単独実行の能力が同じ幅で上がった結果ではない。
最初の誤りを人が確認する理由は、最終失敗だけを見ても途中の判定器を評価できないからだ。誤り後に最終成功した軌跡もあり、局所的な誤りと課題全体の失敗は同じではない。逆に、終盤の操作が正しく見えても、以前の誤った前提を引き継いだままなら、最終結果が失敗になる。どの段階を見て評価しているかを区別する設計が重要になる。
限界は何か
最初の誤りを一点に定める人の判断には揺れがある。失敗が複数の小さな判断から徐々に生じる場合、この枠組みは単純化になる。安全上の操作や失敗分類の一部はAI判定器の判断に依存し、細分類の一致度は低い。三領域以外への外挿にも慎重さが要る。論文自体も回復と自己検知、領域差の結論は方向性を示すものと区別している。
論文の分類では、誤った行動が目立つ一方、失敗の発端は推論や計画にある場合が多い。だが細かな分類はAI判定器間で一致しにくく、個別カテゴリの順位を確定的な因果関係として扱えない。Scoutの比較も、同じ候補から選ぶ方式であって、誤りを作業中に即座に止める運用を直接試したものではない。
仕事との接点
AI作業の監査では、最後の成果物に加えて途中の操作ログを残し、最初に条件を外れた箇所を探す。判定器で候補を選ぶ方式なら、その費用と失敗を見逃す率も併せて測る。これは論文を基にした編集部の提案であり、Scoutの改善幅を自社ワークフローにそのまま当てはめるものではない。
人の注釈も完全な正解ではないので、社内で同様の評価をするなら、意見が割れた軌跡を残して判断理由を記録することが有用だ。論文の一致度は、位置特定の難しさそのものを示す。