- 個人のアカウントやデータが入ったPCで、AIアシスタントが頼まれごとを最後まで終えられるかを調べた。
- 6つのモデルのうち、184課題の採点項目をすべて満たした率が最も高かったのはClaude Opus 4.6の55.4%だった。
- 環境は架空の人物1人分のデータで作られ、採点もAIの判定役1つに頼る。実際の利用での成功率ではない。
何を確かめた研究か
画面を見てマウスやキーボードを操作するAIは、コンピューター操作エージェントと呼ばれる。これまでの評価は特定の個人に結び付かない環境で行われてきた。この論文は、その環境と実際の利用の間に差があると指摘する。個人のアシスタントは利用者の過去のデータやログイン済みのアカウントを使って動くからだ。
差がとくに大きいのはWebの作業だという。公開中の実サイトを使う評価では、ログインや個人情報が必要なサイトを試せない。研究チームは個人の環境を再現したベンチマーク（AIの能力を測る共通の試験）としてMyPCBenchを作った。
どう検証したか
環境はLinuxのデスクトップで、GmailやDoorDashなどの実在サービスを模した17のWebアプリが動く。どれもログイン済みで、LibreOfficeとFirefoxも入っている。全データは1人の架空の人物向けに作られた。米国のドラマ「The Office」の登場人物、マイケル・スコットである。アプリ同士のデータはつながっている。例えば宅配アプリで注文すると、Gringottsというアプリに請求が記録され、メールのアプリに確認が届く。
課題は184あり、どれも個人用AIエージェント「OpenClaw」の利用者の実際の依頼を基にした。著者はOpenClawのDiscordから、匿名化して言い換えた2,749件の使い道を手作業でふるい分けた。重複するもの、仮想マシンで実行できないもの、17のアプリ以外が必要なものは外した。68%の課題は複数のアプリをまたぎ、使うアプリは1〜19個である。
試したのはClaude Opus 4.6、Claude Sonnet 4.6、GPT-5.5、GPT-5.4 mini、Qwen 3.5の35B-A3Bと9Bの6モデルだ。どのモデルにも画面操作とbash（コマンドを打ってPCを動かす仕組み）の同じ道具を渡し、1回の実行は100ターン（モデルを呼び出す回数）までとした。課題ごとに採点項目があり、別のAI（gemini-3.1-flash-lite-preview）が項目ごとに成否を判定する。全項目を満たした割合を完全成功率（論文ではperfect rate）、項目単位の得点を部分点として扱う。課題の間は保存しておいた初期状態に戻し、前の課題の影響を残さない。
何が分かったか
完全成功率はClaude Opus 4.6が55.4%で、50%を超えたのはこのモデルだけだった。項目単位の得点は81.8%である。続いてClaude Sonnet 4.6が39.1%、GPT-5.5が29.3%、GPT-5.4 miniが19.0%だった。Qwen 3.5は35B-A3Bが7.6%、9Bが2.7%にとどまった。
失敗は、多くのアプリをまたぐ課題に集中した。1つのアプリで済む課題から7つ以上の課題にかけて、Opusは66%から36%に、Sonnetは46%から14%に落ちた。7つ以上では、GPT-5.5が4.5%、GPT-5.4 miniとQwenの2モデルは0%だった。
失敗の内訳では、作業が終わる前に完了を宣言する例（354件）と、必要なアプリを使わずに済ませる例（323件）が多かった。モデルの系統ごとに傾向も違う。Claudeは画面を使わずbashで近道をとることがあり、GPT系とSonnetは平均22〜31手で早めにやめていた。Opusの完全成功率はbashを使わなかった実行で69.0%（29件中20件）、使った実行で52.9%（155件中82件）だった。著者は、この差を相関にとどまるものだとする。Claudeは複数アプリの難しい課題ほどbashを使うからだ。
限界は何か
環境は架空の人物1人と、Linux・GNOME・Firefoxの1つの構成に限られる。著者は人物の多様さより深さを選んだと書く。年齢層や地域、別の機器構成で同じ結果になるかは測っていない。採点は1つのGeminiの判定役による。論文は判定役の信頼性を人の判断と照らして確かめたと書くが、一致の数値は本文から確認できなかった。失敗の件数は6モデルの間の構造の内訳として読むべきだと、著者自身が書いている。正確な発生率の推定とは位置づけていない。
人物は公に知られた架空の人物で、機微な個人データは意図して含めていない。本当に機微なデータを扱う場面の振る舞いは対象外である。環境、課題、採点基準、実行の仕組みは公開されたが、各モデルの実行記録と項目ごとの判定結果は公開されていない。
仕事との接点
個人用のAIアシスタントを試すときは、1つのアプリで終わる頼みごとと、メールと予定表と表計算をまたぐ頼みごとを分けて結果を見たい。論文で多かった失敗は早すぎる完了宣言と、必要なアプリの飛ばしだった。AIが完了を報告しても、送るはずのメールや入れるはずの予定が実際に変わったかを、アプリの側で確かめる必要がある。これは論文の結果からの編集部の提案であり、特定製品の成功率や導入効果を示すものではない。