- OSWorldは、実際のアプリを操作し、成果を実行結果で判定するAIエージェント評価環境を作った。
- 論文第2版の369課題では、比較した方式の最高成功率が12.24%、人間の評価は72.36%だった。
- どちらも当時の課題・実行条件での値であり、現在の製品や個々の職場の成功率ではない。
何を確かめた研究か
AIにパソコンを操作させる研究では、Webの一部や一つのアプリだけを評価すると、複数のソフトを行き来する仕事を測りにくい。また、画面を見て次の操作を予測するだけの試験では、最後にファイルや設定が正しく変わったか分からない。OSWorldの論文は、実際のコンピューター環境で仕事の開始状態を再現し、AIが完了できるかを調べる土台を提案した。
対象にはWeb、デスクトップアプリ、OSのファイル操作、複数アプリをまたぐ手順が含まれる。画面やアクセシビリティ情報を読む方式、マウスやキーボードで操作する方式を試せる。目的は、画面上の単発の正解動作ではなく、最後の環境状態が課題の条件を満たしたかを測ることだ。
どう検証したか
研究チームは369件の課題を作り、各課題に初期状態を用意する手順と、完了を確かめる実行用の採点スクリプトを付けた。課題には文書編集、表計算、ファイル管理などがある。複数アプリをまたぐワークフローも含め、単一画面の操作だけに絞っていない。
論文は、当時利用可能だった複数の言語モデル・画像言語モデルと操作方式を組み合わせて評価した。人間にも課題を解いてもらい、AIと比較した。表5の成功率は、課題の完成条件を満たした割合であり、途中まで進んだ割合ではない。
何が分かったか
第2版の表5では、比較したエージェント方式の最高成功率は、アクセシビリティ情報を使うGPT-4方式の12.24%だった。人間の成功率は72.36%。この隔たりは、当時の方式が幅広い画面上の仕事を安定して完成させるには足りなかったことを示す。ただし「AI一般」と「人間一般」の能力差を表す普遍的な数字ではない。
論文の失敗分析では、画面上の要素を正しく見つけて操作へ結び付けることや、アプリ固有の操作知識が難所として挙がる。見た目にもっともらしい操作を続けても、完成条件が満たされなければ成功とは数えない。作業中の動きと、実際の完了を分けて見る評価である。
限界は何か
課題は研究チームが選んだアプリと環境に依存する。369課題には、研究チームが実行不可能と分類した30件も含まれる。人間の成功率が100%に届かない理由を、AIとの能力差だけに還元できない。実際の会社には権限、社内ルール、例外処理、確認を求める場面があり、論文の課題でそのすべてを再現していない。人間の値も参加者と時間・環境の条件の下で測られた。
モデルや画面操作技術の変化も速い。2024年の表を現在の製品順位として扱えない。論文自身も、長い手順の計画、画面の細部認識、座標の指定などに改善の余地を挙げる。これらの失敗が、特定の導入先でどれほど起きるかは別に測る必要がある。
仕事との接点
社内で画面操作AIを試すなら、実際のアプリを使う作業を選び、入力ファイル、初期設定、許される操作、完成後の状態を明記する。途中の操作回数だけでなく、成果物や設定が完成条件を満たしたかを見る。これはOSWorldの評価設計を応用したTRAIL編集部の提案であり、論文が企業の費用対効果を測った結果ではない。