量子化とは？意味・仕組みと論文、端末で動くモデルの年表（2026年10月時点）

ひとことで言うと

量子化は、AI のモデルの重み（学習で決まった数値）をビット数の少ない形で持ち直して、モデルを読み込んで使うときのメモリを減らすことだ。Hugging Face のドキュメントによると、重みは32ビットの浮動小数点数で持つのが普通で、モデルが大きくなったいまは16ビットの形も広く使われている。量子化では、これを8ビットや4ビットの整数などに置き換える。

身近な例は、モデルを配るサイトに並ぶ「同じモデルの大きさ違い」だ。Ollama の公式のモデル一覧では、gemma4 の12Bの版が16ビットの bf16 で24GB、8ビットの q8_0 で13GB、4ビットの q4_K_M で8.0GBになっている（2026年10月26日確認）。

仕組み

1. 元の重みの値の幅を調べる。Hugging Face の解説では、ある層の重みの最小値と最大値を求め、その幅を8ビットの整数の幅（多くは −128〜127）に割り当てる。
2. 割り当ての係数を決める。幅の比を表す「スケール」と、0に当たる値を表す「ゼロ点」を使う。係数を重みのまとまり全体で1組にするより、チャンネルやグループごとに持つほうが正確になる。
3. 各重みを丸めて保存する。丸めた分だけ、元の値との差（量子化の誤差）が生じる。
4. 推論では8ビットの値のまま計算し、結果を元の形式の近似に戻して次の層へ渡す。

量子化をする時期には2種類ある。学習を終えたあとに量子化する「学習後の量子化（PTQ）」と、学習の途中で丸めの誤差を模して慣らしておく「量子化を考慮した学習（QAT）」だ。Hugging Face によると、QAT のほうが、とくにビット数が少ないときに精度が高くなりやすい。

メモリが減るのは、1つの重みに使うビットが減るからだ。Hugging Face は、8ビット整数のモデルは32ビットのものの約4分の1の大きさになり、4ビットにすると8ビットの半分になると説明する。4ビットの重みは、メモリから計算の部分へ運ぶ速さも8ビットの2倍になる。

表で見る最新の状況

上の論文の欄には、TRAIL の論文の解説から量子化に関わる4本を並べた（いずれも2026年10月14日公開）。

• QLoRA：4ビットに量子化したモデル本体を固定し、追加した小さな重みだけを学習する。論文の要旨は650億パラメーターのモデルを48GBの GPU 1枚で追加学習できたと報告する。
• BitNet b1.58：重みを −1・0・1 の3値に限って、最初から学習する。TRAIL の解説が紹介する論文の表では、30億パラメーターのモデルの推論のメモリが、16ビットの基準の7.89GBに対し2.22GBだった。
• Phi-3：論文は、4ビットに量子化した Phi-3 mini を iPhone 14 で動かし、モデルのメモリは約1.8GBだったと報告する。
• Deep Compression：重みを削る処理と量子化などを組み合わせる。論文では、画像認識の AlexNet を240MBから6.9MBに縮めた。

下の年表は、手元の端末で動くモデルとそれに対応したツールの出来事6件だ。確認日は2026年10月10日から10月24日。2026年8月10日の「Muse Glimmer を公開、端末で動くオープンモデル」では、Meta が量子化を使ったと説明している。Meta によると、300億パラメーターのモデルは元の精度のままでは55GBを超えるメモリが要る。そこで重みを約4ビットに圧縮し、言語モデルの部分を20GB未満にした。

TRAIL の年表では、端末で動くモデルの公開に続いて、AI のツールが手元のモデルを使えるようになる出来事が並ぶ。2026年9月3日には OpenClaw が macOS 版のインストーラーを公開し、NVIDIA RTX を積んだ Windows パソコンでは、ハードウェアに合うローカルのモデルを導入時に提案するようにした。9月23日には Antigravity の SDK が、10月7日には GitHub Copilot の CLI が、手元で動くモデルに対応した。

量子化と知識蒸留、低ビットの学習の違い

Meta は Muse Glimmer で、大きなモデルからの蒸留と、推論を速くするための量子化の両方を使ったと説明している。

仕事でどう関係するか

手元のパソコンでモデルが動くか見積もるとき

ローカルLLMを試すとき、同じモデルでも量子化の形式でファイルの大きさが変わる。冒頭の gemma4 の12Bの版では、24GBから8.0GBまでの幅がある。動くかどうかは、パラメーター数だけでなく、どの形式を選ぶかでも変わる。Hugging Face のドキュメントには、モデルと機械を選ぶと精度ごとにメモリに収まるかを示す道具がある。

GGUF のファイル名を読むとき

GGUF は、llama.cpp の開発者がつくったモデルのファイル形式だ。Hugging Face によると、読み込みと保存が速く推論に向いており、重みと一緒に決まった形のメタデータ（モデルの説明の情報）も入る。ファイル名の Q4_K や Q8_0 は量子化の種類を表す。Q4_K は4ビットの量子化で、重み1つあたり4.5ビットになる。Q8_0 は8ビットの古い方式で、いまは広くは使われていない。

Hugging Face のモデルを Ollama で動かすと、リポジトリに Q4_K_M があれば、それが標準で選ばれる。別の形式にしたいときは、ollama run hf.co/{username}/{repository}:Q8_0 のように末尾に形式を付ける。Ollama は GGUF を取り込むときに量子化をしない。Ollama のドキュメントは llama.cpp の llama-quantize などで先に量子化しておくよう案内している。

自社のデータで追加学習するとき

ファインチューニングは、モデル全体の重みを更新すると多くの GPU のメモリを使う。QLoRA は4ビットに量子化したモデルを固定し、小さな追加の重みだけを学習してメモリを抑えた。TRAIL の論文の解説では、メモリに制約がある場合に試す価値がある方法と整理している。

小さなモデルを端末で動かすとき

SLM（小規模言語モデル）を端末で動かす例でも、量子化が使われている。Phi-3 mini の端末での実験は4ビットに量子化した版で行われ、Muse Glimmer も重みを約4ビットにしている。

注意点と限界

• 量子化は効率と精度の釣り合いで、精度を下げると小さな誤差が必ず入る。Hugging Face はこう説明し、4ビットは8ビットより精度が落ちやすく、GPTQ や AWQ のような方式が要ることが多いと書く。
• 「精度がほぼ落ちない」は、それぞれの論文や提供元の測り方での結果だ。GPTQ の要旨は1,750億パラメーターのモデルを重み1つあたり3〜4ビットにして、精度の低下はわずかだったと報告する。LLM.int8() の要旨は8ビットにして推論のメモリを半分にし、性能を落とさなかったと書く。Meta は、Muse Glimmer の圧縮によるエージェントの作業の劣化は、ほぼないか全くないと確かめたとしている。
• 量子化するのは重みだけとは限らない。Ollama の FAQ によると、計算の途中の結果を置くキャッシュ（K/V キャッシュ）は、Flash Attention が有効なときに量子化できる。q8_0 にするとメモリは標準の f16 の約半分、q4_0 では約4分の1になる。q4_0 では、精度の低下が長いコンテキストで目立つことがある。影響の大きさはモデルと作業で変わる。
• 8ビットの浮動小数点数（FP8）を速く計算するには、NVIDIA H100 のような新しい世代の GPU など、対応したハードウェアが要る。

よくある質問

関連する用語

• ローカルLLM：量子化したモデルを手元のパソコンで動かす
• SLM（小規模言語モデル）：端末で動かすときに量子化を組み合わせる
• オープンウェイト：重みが公開されていれば、自分で量子化できる
• ファインチューニング：QLoRA は量子化したモデルで追加学習する
• ツール：Muse、Google Antigravity、GitHub Copilot、OpenClaw、Sakana AI
• 記事：OpenClaw の使い方