- 複数サイトを回る長いWeb作業を、実際の閲覧履歴を参考に作った。
- 200課題で、100ステップ以内に全条件を満たした率の最高値は44.5%だった。
- 読み取り中心の研究用課題であり、購入や申請など実害を伴う操作は対象ではない。
何を確かめた研究か
Web操作AIの試験は、短い一サイト内の操作に偏りがちだ。Odysseysは、比較、調査、旅行計画のように複数のサイトとページを行き来する仕事を測る。最終結果が正しいかだけでなく、途中で必要な情報を取得できたかも採点する。
どう検証したか
米英の248人が、自分のChrome閲覧履歴から2,380の作業のまとまりを注釈した。品質、実行可能性、ログイン要否などで絞り、696件を残した後、評価用に200課題を作った。各課題には複数の採点条件を置き、計1,225条件、平均6.1条件とした。モデルはブラウザを操作し、100ステップ以内に課題を進める。全条件を満たした率と条件ごとの部分点を分けて測り、採点方法を人の評価とも比べた。
何が分かったか
Claude Opus 4.6は全条件を満たす率が44.5%、条件別平均が68.9%。GPT-5.4は33.5%、55.4%だった。最難課題ではOpusの全条件達成は11.0%、GPT-5.4は3.7%へ下がった。人手評価との一致度は、条件をすべて満たす判定がCohenのκ=0.849、軌跡全体を一度に見る従来方式は0.508。採点条件を分けることが判定の一致に役立った。
100ステップという上限も結果の一部だ。追加実験の200課題では、Opusの全条件達成は上限を200に増やすと44.5%から76.5%に上がった。ただし、操作を増やすだけで全モデルが同じように伸びるわけではなく、費用と待ち時間も増える。
条件別採点は、たとえば複数のサイトから必要な事実を集める課題で、どの条件まで満たしたかを残せる。全条件を満たさない仕事も、途中までの進み具合を比較できる。ただし、部分点が高いことと、利用者が求める完成した成果物を渡せたことは違う。表2の68.9%と44.5%は、同じモデルでも別の問いに答える数字だ。
限界は何か
作業は実際の閲覧履歴を参考にしたが、研究用に選別・再構成されている。実験は主に閲覧や比較など影響の小さい操作で、購入や外部への提出は避けている。Webの内容は変化するため、同じ課題でも実行時点によって結果が変わる。採点条件にはAI判定が関わり、人手との一致が高くても全例が人の確定判定とは限らない。
100ステップから200ステップへの追加実験は、失敗の一部が作業予算で説明できることを示す。一方、上限を増やしたときの実行時間や費用も無視できない。論文の作業は実際のWeb上で行われるため、サイトの表示変更や情報の更新が再現性に影響する。比較の際は、同じ時期と同じ操作条件で実施したかを確認したい。
仕事との接点
Web操作を任せる前に、完了の条件を一つずつ書き出す。条件別の達成率、全条件達成率、ステップ数を一緒に見れば、途中までは進むが最後まで終えられない課題を見分けられる。これは論文の評価方法を利用する編集部の提案だ。
評価時点のページを保存し、サイト側の変更で達成不能になった条件を記録すると、モデルの失敗と環境変化を分けやすい。条件の正解が時間とともに変わるWeb作業では、採点基準の更新も必要になる。