コンピューターユースとは?意味・仕組みと使えるツール・料金(2026年10月時点)
コンピューターユース
Computer use / Computer Use / コンピュータ使用
コンピューターユースとは、AIがパソコンの画面をスクリーンショットで見て、マウスのクリックやキーボードの入力を行い、人の代わりに作業を進める機能のこと。
要するに
- 画面を撮って AI に送り、返ってきた操作を行う流れを、作業が終わるまで繰り返す
- 画面の指示に従ってしまうおそれがあり、隔離した環境と人の確認が勧められている
- 2026年はデスクトップのアプリを操作する機能が開発ツールに広がった
最終確認

コンピューターユースの機能があるツール
| ツール | 無料プラン | 最も安い有料プラン | 画面の日本語 | 使い方ガイド | 料金の確認日 |
|---|---|---|---|---|---|
| あり | Pro $20/月(年払いは月$17、$200一括) | 対応 | 使い方を読む | ||
| あり | Go ¥1,400/月 | 対応 | 使い方を読む | ||
| あり | Go $8/月 | 非対応 | 使い方を読む | ||
| あり | Google AI Plus ¥725/月 | 対応 | 使い方を読む | ||
| あり | Pro(下位) $20/月から(年払いは17%割引) | 対応 | 使い方を読む | ||
| あり | Pro 月$17相当(年払い) | 対応 | 使い方を読む | ||
| あり | Pro $10/月 | 非対応 | 使い方を読む | ||
| あり | The X Subscription Plus $8/月(年払いは$80/年) | 非対応 | 使い方を読む |
コンピューターユースの機能が出た日
原論文と関連研究
- OSWorld 論文の解説:画面操作AIが仕事を終える実行能力を測るOSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
- WebArenaを原論文から読む Web操作エージェントを完了で測るWebArena: A Realistic Web Environment for Building Autonomous Agents
- SWE-agent 論文の解説:コード修正AIにおける操作画面の役割SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering
目次8
ひとことで言うと
コンピューターユース(Computer use)は、AI がパソコンの画面を見て、マウスとキーボードを操作し、人の代わりに作業を進める機能だ。Anthropic は、人がするのと同じように、画面を見てカーソルを動かし、ボタンを押し、文字を入力すると説明している。
たとえば「パソコンの表計算ソフトとウェブの情報を使って、このフォームを埋めて」と頼むと、AI は表を確かめ、ブラウザを開き、必要なページを見てフォームに入力する。Anthropic は発表で、この流れを例に挙げている。Anthropic によると、作業ごとに専用の道具を作らなくても、人向けのソフトをそのまま使えるのが特徴だ。
仕組み
Anthropic と Google のドキュメントは、次の繰り返しで動くと説明している。
- アプリが AI への指示と、いまの画面のスクリーンショットを送る。
- AI は画面と指示を読み、「この座標をクリック」「この文字を入力」のような操作を返す。Claude はクリック、入力、スクリーンショットのような短い操作をまとめて返すこともある。
- アプリがその操作を実際の画面で行う。AI はパソコンに直接つながらず、操作を行うのは利用者の側のプログラムだ。
- アプリが操作のあとの画面を撮って AI に返し、AI は次の操作を決める。作業が終わるまで2〜4を繰り返す。
Anthropic はこの繰り返しを「エージェントループ」と呼んでいる。Google の Gemini API は、ブラウザ、モバイル(Android)、デスクトップの3つの環境に対応している。
表で見る最新の状況
上の1つ目の表はコンピューターユースにあたる機能を持つ8つのツールの無料プランの有無、いちばん安い有料プラン、日本語の画面の有無を並べたものだ。料金の確認日は2026年10月10日から10月23日。
8つとも無料プランが「あり」だが、表は無料プランでこの機能が使えるかまでは示していない。いちばん安い有料プランは、Gemini の Google AI Plus が月¥725、ChatGPT の Go が月¥1,400、Codex の Go が月$8、GitHub Copilot の Pro が月$10、Claude の Pro が月$20。日本語の画面がないのは Codex、GitHub Copilot、Cursor の3つだ。
2つ目の年表は、コンピューターユースにあたる機能が出た出来事15件を古い順に並べたものだ。確認日は2026年10月10日から10月20日。
- 最初は2024年10月22日の Claude の「Computer use をベータ公開」だ。12月11日には Gemini 2.0 を使うブラウザ操作の試作 Project Mariner の限定テストが始まった。
- 2025年1月23日に ChatGPT が「Operator を研究プレビューで公開」した。米国の Pro 利用者向けだった。10月7日には Google が「Gemini 2.5 Computer Use をプレビュー公開」した。
- Claude のブラウザ拡張 Claude in Chrome は、2025年8月25日に Max プランの1,000人で試験提供を始め、2026年8月26日に全有料プランで一般提供になった。
- 2026年には開発ツールにも広がった。Cursor が2月24日にクラウドエージェントの画面操作に対応し、Codex は4月16日に macOS、5月29日に Windows のアプリの操作に対応した。GitHub Copilot は10月1日に「Copilot がデスクトップアプリを操作可能に」した。
TRAIL の年表では、2025年の出来事はブラウザの操作が中心で、2026年にはデスクトップのアプリを操作する機能が Codex や GitHub Copilot のような開発ツールに広がっている。
コンピューターユースとブラウザ操作、ウェブ検索の違い
| コンピューターユース | ブラウザ操作のツール | ウェブ検索 | |
|---|---|---|---|
| 操作する場所 | デスクトップ全体(アプリ、ファイル、ブラウザ) | ブラウザの中のページ | 操作しない |
| AI が見るもの | 画面のスクリーンショット | ページの文字や部品 | 検索結果の情報 |
| 向いている作業 | 画面からしか使えないソフトの作業 | ウェブページの中で終わる作業 | 操作のいらない公開情報の調べ物 |
Anthropic はウェブページの中で終わる作業ならブラウザ操作のツール(Browser use)のほうが合っていて、デスクトップの環境を用意しなくてよいと書いている。OpenAI は、操作のいらない公開情報ならウェブ検索を使うよう案内している。
仕事でどう関係するか
決まった入力作業を任せたいとき
Google はウェブサイトでのデータ入力やフォームの記入のような繰り返しの作業、ウェブアプリの自動テスト、複数のサイトで商品の価格やレビューを集める調べ物を用途に挙げている。Anthropic は作業を簡単ではっきりしたものにし、手順ごとに指示を書くよう勧めている。
ブラウザで(社内の経費精算システムのURL)を開き、下の3件を1件ずつ入力してください。
入力のたびにスクリーンショットを撮り、内容が合っているかを1文で確かめてから次へ進んでください。
「申請」ボタンは押さず、入力が終わったら画面を見せて止まってください。
(日付、金額、内容を3件書く)Anthropic は、Claude が操作の結果を確かめずに成功したように振る舞うことがあると書き、手順ごとにスクリーンショットで確かめさせる指示を例に挙げている。
API のない古い社内システムを使っているとき
TRAIL の年表によると、GitHub Copilot の機能は、API(ほかのソフトから機能を呼び出す仕組み)や CLI(文字で命令する操作画面)がない、画面だけのソフトの作業も自動化できる。Anthropic も人向けにつくられた幅広いソフトを使える力を Claude に教えていると説明している。
費用を見積もるとき
OpenAI によると、API で使うときは1回のリクエストごとに入力と出力のトークン(AI が文章を数える単位)の料金がかかり、スクリーンショットは画像の入力として数える。Anthropic は操作の繰り返しに上限を設けると、思わぬ API の費用を防げるとしている。
注意点と限界
- 画面に書かれた指示に AI が従ってしまうおそれがある。Anthropic は、ウェブページや画像の中の指示が利用者の指示より優先されることがあると書いている。Google と Anthropic は、スクリーンショットからこうした指示を見つける仕組みを用意している。
- Anthropic は権限をしぼった専用の仮想マシンかコンテナ(隔離した実行環境)で動かし、ログイン情報のような大事なデータを渡さず、接続先のサイトを限るよう勧めている。
- 支払いや利用規約への同意、クッキーの同意のように結果が大きい操作は、人が確かめる。Google の Gemini API は、支払いやメールの送信、アカウントの作成などを止めるか、確認を求める安全の設定を持っている。
- Google は、プレビュー版にはエラーや弱点がありうるとして、重要な判断、機密データを扱う作業、誤りを直せない作業には使わないよう書いている。
- Anthropic は公開時に、スクロール、ドラッグ、拡大のような操作が難しいとして、危険の少ない作業から試すよう勧めていた。
よくある質問
コンピューターユースは無料で使えるか
ツールとプランによる。TRAIL の年表では、Claude の Chrome 拡張 Claude in Chrome は2026年8月26日に全有料プランで一般提供になった。表の8つのツールは無料プランを持つが、無料プランでこの機能が使えるかは各ツールのページで確かめる必要がある。
API で使うときの料金はどう決まるか
OpenAI によると、リクエストごとに入力と出力のトークンの料金がかかり、スクリーンショットも画像の入力として数える。画面を撮って返すたびに入力が増えるので、繰り返しの回数が多いほど費用が増える。
Windows や Mac で使えるか
使えるツールがある。TRAIL の年表では、Codex が2026年4月16日に macOS のアプリ、5月29日に Windows の操作に対応した。GitHub Copilot も10月1日に macOS と Windows のデスクトップアプリを操作する機能をプレビュー公開した。
人が見ていなくても任せてよいか
結果が大きい操作では任せないほうがよい。Anthropic は、現実に大きな影響がある判断は人に確認するよう勧めている。GitHub Copilot はアプリを操作する前に利用者の承認を求める。
関連する用語
- AIエージェント:コンピューターユースで画面を操作して作業を進める
- マルチモーダル:スクリーンショットのような画像を読み取るモデルの力
- AIコーディングエージェント:Codex や GitHub Copilot がアプリの操作にも広げている
- AIのAPI:API で使うときの料金の考え方
- テーマ:PCを操作するAIの年表
- ツール:Claude、ChatGPT、Codex、Gemini、GitHub Copilot
出典
- 公開
- 執筆
- TRAIL編集部(編集方針)