- Webサイトで複数の操作を続けるAIを、最終的な作業の成否で測る環境を作った。
- 論文第4版の比較では、最良のGPT-4系設定もWebArenaの課題成功率は14.41%で、人の78.24%を下回った。
- これは隔離された模擬サイトでの結果であり、現在の製品や会社の実サイトでの成功率ではない。
何を確かめた研究か
WebArenaの原論文は、ブラウザ操作エージェントを現実に近い条件で評価するには何が必要かを問う。単純な画面遷移や短い操作だけでは、商品を探して条件を確かめる、投稿を編集する、複数ページの情報をまとめるといった長い作業を測りにくい。著者らは、動作するサイトを自前で用意し、同じ初期状態から繰り返し試せる環境を作った。
対象は電子商取引、掲示板、共同開発、コンテンツ管理などのサイトだ。地図や説明資料も用意する。ここで重要なのは、クリックの列を模範解答と完全一致させることではない。指示が求めた結果に到達したかを判定する。
どう検証したか
第4版のベンチマークには812の課題がある。作成者はサイトを探索し、1、2回の操作では終わらない高水準の依頼を作った。情報を探して答える課題では、正解との完全一致、必要語の包含、意味の近さなど、目的に応じた採点方法を使う。サイトの状態を変える課題では、期待される最終状態を確認する。意味の近さの判定にGPT-4を使う場合もあり、すべてが機械的な完全一致ではない。
比較用エージェントには、画面の情報を受け取り、次の操作を出す設定を使う。段階的に考えてから動くプロンプトや、到達不可能と判断したときに停止する指示の有無も変えた。人の作業結果とも比べる。したがって14.41%という数字は、特定のモデル、プロンプト、操作手段、課題集合を組み合わせた結果だ。
何が分かったか
表2では、最良のGPT-4系設定が課題の14.41%を最後まで達成し、人は78.24%を達成した。別のGPT-4設定では11.70%で、考え方や停止の指示が数値に影響する。途中の一操作が正しそうに見えても、最終状態まで到達できなければ成功に数えない。この評価方法は、見栄えのよい操作ログと実際の完遂を区別する。
論文の分析は、達成できる課題を早く諦めてしまう失敗などにも触れる。長い作業では、初めの数手だけでなく、途中の観察、計画の修正、停止判断が結果を左右することを示す。ただし、差の原因をモデルの推論能力だけに帰することはできない。画面の表現や使える操作も設定の一部だからだ。
限界は何か
WebArenaは再現性のために独立したサイトと固定したデータを使う。現実のWebは表示内容、認証、権限、利用規約が変化する。個人情報や決済を伴う操作の安全性も、この成功率からは分からない。情報探索の一部はモデルによる意味判定を含むため、採点器の性質も結果に関わる。
また、論文の人との比較はWebArenaの課題に限る。人の78.24%を一般的なWeb業務の基準と見たり、2026年の製品性能と直接比べたりはできない。
仕事との接点
社内でブラウザ操作を試すなら、まず隔離されたテスト環境で、何をもって完了とするかを先に定める。画面操作の成功、業務結果、副作用の有無を別に記録する。更新や送信など戻しにくい操作には人の承認を置く。これはWebArenaの評価思想から導いたTRAIL編集部の提案であり、論文が実運用の安全性を保証するものではない。