オンデバイスAI（端末で動くAI）とは？意味・仕組みと年表（2026年10月時点）

ひとことで言うと

オンデバイスAIは、AI のモデルをスマートフォンやパソコンの中で動かすことだ。入力した文章や音声をクラウドのサーバーに送らず、端末の中で処理できる、と提供元は説明している。

身近な例は Android のスマートフォンで動く Gemini Nano だ。Google の Android 開発者向けドキュメントは、Gemini Nano を使うと、ネットワークへの接続やクラウドへのデータの送信なしに生成 AI の機能を作れると書く。Apple も、Apple Intelligence の中心にある端末上のモデルを、アプリの開発者が使えるようにしている。

仕組み

Android の Gemini Nano を例にすると、端末の AI が答えを返すまでは次の順に進む。

1. モデルを端末に置く。Gemini Nano は Android のシステムの機能である AICore の中で動く。AICore がモデルの配布と更新を受け持つので、アプリが自分で大きなモデルをダウンロードする必要はない、と Google は書く。
2. アプリが AICore の API（ほかのソフトの機能を呼び出すための決まった手順）を通じて、プロンプトを渡す。
3. 端末の中で推論（学習済みのモデルが答えを出す計算）をする。Google によると、AICore は端末のハードウェアを使って推論を速める。
4. 結果をアプリに返す。Google によると、AICore は要求を1つずつ切り分けて扱い、処理のあとに入力や出力の記録を残さない。

端末に載せるには、モデルを小さくする工夫が要る。

• パラメーターを絞る：SLM（小規模言語モデル）のように、パラメーター（学習で決まる数値）の数を抑えたモデルを使う。Apple が2025年6月に発表した端末上のモデルは、約30億パラメーターだ。Meta の MobileLLM の論文は、スマートフォンに載せる現実的な選択として、10億パラメーター未満のモデルを設計した。
• 重みを圧縮する：量子化（数値の精度を下げて、使うメモリを減らすこと）を使う。Apple は2025年6月の発表で、端末上のモデルの重みを1つあたり2ビットに圧縮したと書いた。Meta は Muse Glimmer の重みを約4ビットにして、言語モデルの部分を20GB未満にした。

表で見る最新の状況

上の年表は TRAIL の DB から、AI のモデルを端末や手元の機械で動かすことに関わる出来事9件を、古い順に並べたものだ。確認日は2026年10月10日から10月24日。

最初は2023年12月6日の「Gemini 1.0 を発表」で、Ultra・Pro・Nano の3サイズのうち、Nano が Pixel 8 Pro に搭載された。2024年6月12日には、一般の PC やノート PC でも動く大きさの画像生成モデル Stable Diffusion 3 Medium の重みが公開された。2025年1月30日の TinySwallow-1.5B は、スマートフォンや PC の上で動く日本語の小さなモデルだ。2025年9月10日には、Genspark が端末の上で動く無料の AI を発表した。

2026年7月からは、仕事のツールの対応が続く。7月8日の「Nottaデスクトップ」は、プライバシーモードでは音声も文字起こしも外部のサーバーへ送らず、パソコンの中で処理する。8月10日には Meta が Muse Glimmer の重みを公開した。9月3日には OpenClaw が、NVIDIA RTX を積んだ Windows パソコンに合うローカルのモデルを、導入のときに提案するようにした。9月23日には Antigravity の SDK が、10月7日には GitHub Copilot の CLI が、手元で動くモデルに対応した。

TRAIL の年表では、9件のうち5件が2026年7月以降の出来事で、仕事のアプリや開発ツールが手元のモデルを使う動きが続いている。

オンデバイスAIとクラウドの AI の違い

オンデバイスAIは、モデルを動かす場所の話だ。SLM はモデルの大きさ、量子化はモデルを小さくする方法を指し、どちらも端末で動かすために使われる。ローカルLLMは、LLM を自分のパソコンや社内のサーバーで動かす使い方を指し、オンデバイスAIと重なる。Android の ML Kit の GenAI API は、文章の生成のほかに、画像の説明や音声の認識も端末の上で扱う。

両方を組み合わせる「ハイブリッド推論」もある。Android のドキュメントは、Firebase AI Logic の Hybrid API を使うと、Gemini Nano が使えないときや、利用者の端末が対応していないときに、要求をクラウドの Gemini Flash か Gemini Pro のモデルへ自動で回せると書く。設定は4つあり、PREFER_ON_DEVICE は端末のモデルを先に使い、PREFER_IN_CLOUD は端末がオフラインのときだけ端末のモデルに切り替える。Apple も、より高い推論の能力や長い文脈が要るときは、Private Cloud Compute かサーバーのモデルを使うよう案内している。

仕事でどう関係するか

社外に出せないデータを AI で扱いたいとき

Google は、端末の中で処理する Gemini Nano なら、機密のデータを端末に残せると説明している。Android のドキュメントによると、AICore はインターネットに直接つながらず、モデルのダウンロードを含む通信は、Private Compute Services というオープンソースの別のアプリを通る。Notta はプライバシーモードで、音声も文字起こしもパソコンの外に送らない。TRAIL の DB では、プライバシーモードを使えるのはプレミアム以上のプランだ。

通信できない場所で使いたいとき

Android のドキュメントは、端末のモデルならオフラインでも AI の機能が動くと書く。Meta も、モデルを手元で動かせば、インターネットへの接続の有無にかかわらず AI を使えると説明する。TRAIL の DB では、Antigravity の SDK は手元のモデルでエージェントをオフラインで動かせる。

返答の速さが大事な機能に組み込むとき

Android のドキュメントによると、端末で動かすと通信の遅れはなくなるが、推論の速さは端末のハードウェアで決まる。Apple のドキュメントは、端末上のモデルの返答には数秒かかることがあると書き、「3文で」のように長さを指定すると処理が速くなると案内する。

次の会議のメモを3文で要約してください。
メモ：（会議のメモを貼る）

AI の機能の費用を見積もるとき

Android のハイブリッド推論のページは、端末の推論には費用がかからず、決まった作業を端末に回すとクラウドの推論の費用を減らせると書く。Apple も2025年6月の発表で、Foundation Models フレームワークで使う端末上のモデルの推論は無料だとした。クラウドに回す分には、Firebase AI Logic で支出の上限を決められる。

注意点と限界

端末で動くモデルには、扱える長さと能力に限りがある。Android のドキュメントは、Gemini Nano にはトークンの上限、端末のハードウェアの制限、モデルの能力の限界があると書く。2026年10月26日に確認した Apple のドキュメントでは、端末上のモデルが1つのセッションで扱えるのは4,096トークンまでだ。Apple によると、日本語ではおおよそ1文字が1トークンになる。

苦手な作業もある。Apple のドキュメントは、基本的な計算、コードの作成、論理的な推論を、端末上のモデルに向かない例に挙げる。Apple はこのモデルを一般的な知識を答えるチャットボットとしては作っていないと、2025年6月の発表で書いている。

どの端末でも動くわけではない。Apple の端末上のモデルは、Apple Intelligence に対応した端末と地域でしか使えず、オンにしてからモデルのダウンロードに時間がかかることがある。Meta によると、Muse Glimmer はそのままの精度では55GBを超えるメモリが要り、量子化したうえで24GBか32GBのメモリに収めている。TRAIL の DB では、Antigravity の SDK は24GBを超える VRAM（GPU のメモリ）かユニファイドメモリを推奨している。

手元のモデルを選んでも、ツールがすべてオフラインで動くとは限らない。TRAIL の DB では、GitHub Copilot の CLI でローカルのモデルを選んでも、オフラインモードにはならない。

よくある質問

関連する用語

• SLM（小規模言語モデル）：端末で動かしやすいように、パラメーターの数を抑えた言語モデル
• 量子化：重みの精度を下げて、端末のメモリに収める方法
• ローカルLLM：LLM を自分のパソコンや社内のサーバーで動かす使い方
• 推論：学習済みのモデルが答えを出す計算。オンデバイスAIはこれを端末の中で行う
• オープンウェイト：重みが公開され、手元で動かせるモデル
• ツール：Gemini、Muse、Notta、GitHub Copilot、Google Antigravity、Sakana AI
• 記事：Notta の使い方、Muse の使い方