- AIを「一問に答えるモデル」ではなく、環境と何度もやり取りするエージェントとして評価した。
- AgentBench第3版は8種類の環境と29モデルの比較を報告する。
- 環境ごとに成功条件が違うため、総合的な順位だけで業務適性を決められない。
何を確かめた研究か
AgentBenchの原論文第3版は、言語モデルが行動を選び、結果を受けて次の手を決める能力をどう測るかを扱う。通常の知識問題では、モデルの返答は一回で終わる。エージェントには、操作を間違えた後に立て直す力や、途中の情報を使って目的へ近づく力も必要だ。著者らは、複数の環境を同じ評価の枠組みへ載せるAgentBenchを提案した。
論文は「エージェントなら何でもできる」と主張するためではない。どの種類の環境で、どんな失敗が起こるのかを比較できるようにすることが目的である。モデルの得点を読む前に、何を操作し、どう成功と判定したかを見るという視点が重要だ。
どう検証したか
第3版には、操作システム、データベース、知識グラフ、カードゲーム、推理、家事、Webショッピング、Web閲覧の8環境がある。各環境では、観察、行動、複数回のやり取りを行う。ただし成績の尺度は一様でない。表2には成功率、F1、報酬、進行度など、課題に応じた指標が並ぶ。必要と見込むやり取りの回数も環境で異なる。
著者らはAPIで使うモデルと公開モデルを含む29モデルを評価した。これは第3版の数字であり、初期版のモデル数と混同しない。評価ツールは、課題、エージェント、採点を分けて扱えるよう設計されている。比較では同じ環境と手順で試すことが重要だが、モデルごとのプロンプトや出力形式が結果に影響し得る。
何が分かったか
論文は、当時の上位の商用モデルが複雑な環境で強い一方、多くの比較対象との間に差があると報告する。失敗の分析では、長い手順の推論、意思決定、指示の順守を課題として挙げる。単に次の一手の文章が自然でも、何度も進めるうちに目的から外れる場合がある。
ただし、8環境のどれかで高い成績を取れば、ほかの環境でも同じように働くとは限らない。表の評価指標と環境の重みが違うため、平均や順位だけを見て運用対象を決めると、重要な弱点を見落とす。論文が示すのは、指定した環境の中での比較だ。
限界は何か
環境は研究のために作られたものだ。実際の企業システムの権限、データ品質、例外処理、監査要件をそのまま再現しない。第3版で調べたモデルも、当時の設定と版に固定される。後年のモデルや提供中の製品の成績を読み替えることはできない。
さらに、各環境の得点は指標の種類だけでなく、使える行動と入力の表現にも左右される。別の会社が同じ名前の業務を評価しても、操作対象や成功条件を変えれば比較可能な数字にはならない。
論文が分類した失敗原因も、観察された行動に基づく分析であり、内部の判断過程を直接測ったものではない。長期推論の問題だと見えても、使える情報や操作の制約が一因かもしれない。
仕事との接点
会社での試験では、自社の作業を短い課題と長い課題に分け、使える道具、最大手数、成功条件、危険な操作を明文化する。最終成功率に加え、どの段階で失敗したかを残す。AgentBenchの点数を企業導入の効果に置き換えない。これは評価設計を参考にしたTRAIL編集部の提案である。
複数回の試行も行い、同じ課題で結果がどれだけ揺れるかを確認したい。