- AIエージェントの安定性を、再試行、依頼文の変化、道具の障害の三軸で測った。
- 合成タスクでは中程度の言い換えで成功率が96.88%から88.12%へ下がった。
- 実際のサービスで同じ下落が起きるという予測値ではない。
何を確かめた研究か
一回の試験で成功したAIが、次も同じように成功するとは限らない。ReliabilityBenchは、同じ依頼の反復、意味を保った言い換え、道具のタイムアウトや応答欠損を組み合わせる評価を提案した。成功したかは返答文の見た目ではなく、処理後の状態が目的を満たしたかで判定する。
どう検証したか
予定調整、旅行予約、サポート、電子商取引の四つの合成領域を作った。各領域に五つの課題を置き、Gemini 2.0 FlashとGPT-4o、ReActとReflexionの二方式を比べた。同じ設定を二回試し、依頼文の変化を三段階、道具の障害を二段階で組み合わせる。主実験は各モデル480エピソード。障害種別の切り分け320エピソードを加え、合計1,280エピソードだった。
何が分かったか
表5ではGemini 2.0 Flashの条件別成功率が、言い換えなしの96.88%から中程度の変化で88.12%へ下がった。差は8.76ポイントで、論文は約8.8ポイントと述べる。二回とも成功した率は91.04%で、一回だけの率とは違う。Geminiを使った方式比較では、ReActの評価空間全体の得点が0.900、Reflexionが0.875だった。障害種別の切り分けではレート制限だけを入れた条件が93.75%、混合条件が96.25%。この条件下ではレート制限が最も大きな低下につながった。
反復試行で二回とも成功した率は、単発の成功率より「同じ仕事を繰り返せるか」に近い問いを示す。言い換えの強さを示すεと、道具の障害を示すλを組み合わせれば、一つの平均点で隠れる弱点を見つけやすい。ただし、εやλは研究側が選んだ条件の名前であり、実際の利用者がどれほど言い換えるか、APIがどれほど故障するかをそのまま表すものではない。
限界は何か
二モデル、二方式、四つの合成領域に限る。外部APIの認証、リアルタイムデータ、現実の利用者の曖昧な依頼は再現していない。反復回数は二回で、長期間の安定性を測れない。論文の表紙に2025年1月2日とある一方、arXiv v1の初投稿は2026年1月3日なので、この記事の論文初公開日はarXivのUTC日付を使った。費用比較も実験時の料金と条件に依存するため、現在の購入判断には使わない。
状態に基づく採点は「予約が確認済みになったか」などを機械的に調べられる。文章の言い回しに左右されにくい反面、検査する状態の定義から漏れた品質や副作用は見えない。たとえば予約できても、不要な二重予約が残っていないかは採点器の条件次第だ。評価対象の失敗を先に洗い出して、状態検査に含める必要がある。
仕事との接点
社内でエージェントを評価するなら、同じ依頼を複数回試し、表現を変え、道具の一時的な失敗を模擬する。最終状態を検査する採点器も準備する。これは論文の方法を応用する編集部の提案で、表5の率を本番の失敗率と読み替えない。
合成環境の成功率が高くても、運用を決めるには実際のツール仕様と障害履歴に近い試験が要る。研究の三軸はその試験計画を作る枠組みとして使え、値そのものを導入可否の基準にするものではない。