- WASPは、Webページ上の悪意ある指示が、利用者に代わって操作するAIをどこまで動かせるか測る。
- 攻撃文に従い始める割合と、攻撃者の目的を最後まで達成する割合は大きく異なった。
- 後者が低いのは、この実験では複数手順の操作が難しいためでもあり、安全性の証明ではない。
何を確かめた研究か
WASPの原論文は、Webエージェントがページの投稿やコメントを読んだとき、利用者の依頼よりも、そこに混ぜられた攻撃者の指示を優先してしまうかを調べた。攻撃者はサイト全体を支配するのではなく、一般利用者が編集できる部分だけを変えられる。論文の初公開は2025年4月22日、参照する第3版は同年5月16日である。
どう検証したか
著者らは隔離したGitLab風・Reddit風の二つの環境を使い、利用者の通常の依頼と、攻撃者が実現したい別の操作を組み合わせた。攻撃者の目標は21種類で、各サイトの利用者の依頼2種類と組み合わせる。攻撃文の形式を2種類にして計84課題を作った。実際の利用者や公開Webへの攻撃は行わない。
評価は二段階に分ける。まずAIが元の依頼から逸れて攻撃文に従い始めたかを、行動記録を読んだ別のモデルで判定する。次に、攻撃者の目的がサイトの最終状態で実現したかを、規則に基づく検査器で確認する。攻撃がない37課題で通常の作業能力も測った。複数のモデルと操作枠組みを組み合わせ、同じモデルでも条件を変えている。
テキストだけでページを渡す条件と、画面の画像を渡す条件がある。さらに、保護指示を入れる位置や操作用の枠組みも違う。そのため表2は単純なモデル順位表ではなく、モデルと環境の組み合わせごとの試験結果として読む必要がある。
何が分かったか
第3版の表2では、OpenAI o1をツール呼び出し枠組みで使い、保護指示をsystemに置いた条件で、途中まで従う率は85.7%、攻撃者の目的達成率は16.7%だった。GPT-4oをVisualWebArenaの文字表現だけで使い、追加の保護指示がない条件では、32.1%と1.2%だった。途中の逸脱と最終的な不正操作を同じ成功率として扱えない。
この差は攻撃が無害なためではない。著者らは、攻撃者の目標が複数手順を必要とし、途中でエージェントが間違えたり元の依頼へ戻ったりすることを理由に挙げる。通常課題の達成率も条件で大きく異なるため、攻撃者が望む操作を遂行できる能力そのものが結果に影響する。
たとえば通常課題の達成率は、表2のGPT-4oの文字表現・保護指示なしで59.5%、o1の上記条件で48.6%だった。攻撃目標の低い完了率を見たときは、通常の作業もどの程度終えられるかを並べて考える必要がある。
限界は何か
評価環境は二つの模擬サイトだけで、投稿形式や攻撃文の種類も限られる。途中の逸脱は別の言語モデルによる判定であり、最終状態を検査する規則とは測り方が異なる。実際のサイトでのすべての攻撃経路や、防御の有効性を保証する試験ではない。
攻撃者が複数手順を完了できる率は、エージェントの操作能力が上がれば変わる可能性がある。論文も現時点の「目的まで達しにくい」状態を将来の安全策とはみなしていない。
仕事との接点
Webを操作するAIを検証するなら、信頼できない投稿や検索結果を含む隔離環境を用意する。利用者の依頼から逸れた時点と、実際にデータ変更や送信が起きた時点を別々に記録し、通常作業の達成率も併記する。これはTRAIL編集部の提案である。