ローカルLLMとは？意味・仕組みと手元で動かせるモデルの年表（2026年10月時点）

ひとことで言うと

ローカルLLMは、LLM（大規模言語モデル）を提供元のクラウドを通さず、自分のパソコンや社内のサーバーで動かすことだ。動かすモデルそのものを指して呼ぶこともある。動かせるのは、重みを公開したオープンウェイトのモデルが中心になる。

たとえばモデルを動かすソフトの Ollama では、公式のクイックスタートに従って ollama run gemma4:e2b と打つと、モデルがダウンロードされ、自分のパソコンの上で会話が始まる。Ollama の FAQ によると、手元で動かしているあいだは、Ollama の側からプロンプトやデータは見えない。

仕組み

1. 重みを入手する。重みはモデルの出力を決める学習済みの数値で、Hugging Face（モデルを配布するサイト）などで公開されている。
2. 手元の機械で動かすソフトを入れる。Ollama は macOS、Windows、Linux 向けに配布されている。Hugging Face によると、GGUF（読み込みと保存が速く、推論に向いたモデルのファイル形式）は llama.cpp、LM Studio、Ollama などのソフトで使える。
3. ソフトがモデルを GPU（計算用の半導体）のメモリかパソコンのメモリに読み込む。Ollama では ollama ps で、GPU とパソコンのメモリのどちらに何割載ったかを確かめられる。
4. アプリから呼び出す。Ollama は初期設定で、127.0.0.1（その機械自身を指すアドレス）の 11434 番ポートで要求を待つ。手元のモデルに送る要求には API キーが要らない。

メモリを減らす方法に、量子化（数値の精度を下げて、使うメモリを減らすこと）がある。Hugging Face の Ollama 向けの案内では、モデルに Q4_K_M という量子化の形式があれば、それを標準で選ぶ。Ollama の FAQ によると、計算の途中の結果を置くキャッシュを q8_0 に量子化すると、標準の f16 の約半分のメモリで済む。

表で見る最新の状況

上の年表は TRAIL の DB から、文章の AI を手元で動かすことに関わる出来事11件を古い順に並べたものだ。開発元は7つで、確認日は2026年10月10日から10月24日。

最初は2024年3月17日の「Grok-1 の重みを公開」で、314B（3,140億）パラメーターのモデルの重みを Apache 2.0 ライセンスで公開した。2025年1月には「DeepSeek-R1 を公開」と、Sakana AI の「TinySwallow-1.5B を公開」が続いた。TinySwallow-1.5B は1.5Bの日本語の小さなモデルで、スマートフォンや PC 上で動く。

2026年8月10日には Meta が、端末上で動かせる300億パラメーターの Muse Glimmer の重みを公開した。10月15日の Muse Spark Open は、総パラメーター8,160億、コンテキスト100万トークンのモデルだ。

8月30日以降は、ツールの側の対応が並ぶ。OpenClaw 2.0 はローカルのモデルをそのまま使えるようにした。9月23日には Antigravity の SDK が、10月7日には GitHub Copilot の CLI が、手元で動くモデルに対応した。

TRAIL の年表では、2026年の後半に、重みの公開に加えて、開発ツールやエージェントがローカルのモデルを呼べるようになる動きが続いている。11件のうち7件が、2026年8月以降の出来事だ。

ローカルLLMとクラウドの LLM の違い

TRAIL の DB では、DeepSeek-V4.1-Flash の API はピーク時間帯で、100万トークンあたり入力0.3ドル、出力1.2ドルだ。このモデルの重みは2026年9月10日に公開された。同じモデルに、API で使う道と、重みを入手して動かす道の両方がある。

仕事でどう関係するか

社外にデータを出したくないとき

顧客情報や設計の資料をクラウドに送れない職場では、ローカルLLMが選択肢になる。Ollama の FAQ は、手元で動かすときは Ollama の側からプロンプトやデータは見えないと書いている。ただし Ollama にはクラウドのモデルもある。FAQ によると、設定でクラウドの機能を切ると、手元のモデルだけで動く。

手元の機械で動くかを見積もるとき

動かせるかどうかは、モデルの大きさと機械の GPU やメモリで決まる。Ollama は NVIDIA の GPU（compute capability 5.0以上）、AMD の GPU、Apple の GPU（Metal）に対応している。Antigravity の SDK は、24GBを超える VRAM（GPU のメモリ）かユニファイドメモリを推奨している。DeepSeek-R1 は総パラメーター671Bだが、Hugging Face のモデルカードには1.5Bから70Bまでの小型の蒸留モデル6種が並ぶ。小さいモデルから試す道もある。

いつもの開発ツールから使うとき

ローカルのモデルを、普段のツールから呼べる場面が増えている。TRAIL の DB では、GitHub Copilot CLI は1.0.94-0から、/model で手元の Ollama のモデルを見つけて会話で使える。Antigravity の SDK は Ollama、LM Studio、vLLM などの OpenAI 互換のサーバーを使える。Ollama のクイックスタートには ollama launch claude で Claude Code を起動する手順もある。

導入の前に、手元のモデルが業務に足りるかを、同じ質問で比べておくとよい。

次の3つの質問に、それぞれ200字以内で日本語で答えてください。わからないことは「わからない」と書いてください。
1.（社内でよく受ける質問を書く）
2.（要約させたい文書の一部を貼る）
3.（表にまとめさせたい内容を書く）

注意点と限界

• ローカルのモデルを選んでも、オフラインで動くとは限らない。TRAIL の DB では、GitHub Copilot CLI はローカルのモデルを選んでもオフラインモードにならない。Ollama もモデルをインターネットから取得する。
• Ollama の標準のコンテキストウィンドウは4,096トークンで、設定で変えられる。同時に処理する要求を増やすと、使うメモリも増える。
• 商用で使えるかどうかは、モデルごとのライセンスで決まる。DeepSeek-R1 のモデルカードでは、R1 の重みは MIT ライセンスで商用に使えるが、蒸留モデルは Qwen や Llama をもとにしており、それぞれのライセンスがある。TinySwallow-1.5B-Instruct のモデルカードは、このモデルを研究開発のための試作品と位置づけ、商用での利用を想定していないと書く。一方で同じカードのライセンスの節は、もとにした Qwen の Apache 2.0 と、学習に使った Gemma のデータの規約の両方を守れば、商用を含む利用を認めている。
• 小さいモデルは手元で動かしやすい。一方で TRAIL の論文の解説では、小型化には知識や言語の限界が残ると整理している。

よくある質問

関連する用語

• オープンウェイト：手元で動かすには、重みが公開されたモデルを使う
• LLM（大規模言語モデル）：ローカルLLMで動かすモデルの種類
• コンテキストウィンドウ：一度に読ませられる長さ。ローカルでは設定で変わる
• ファインチューニング：手元の重みを自社のデータで追加学習する
• ツール：OpenClaw、GitHub Copilot、Google Antigravity、DeepSeek、Sakana AI
• 記事：OpenClaw の使い方、Muse Spark Open の公開