パラメーター（パラメータ数）とは？意味・仕組みとモデルの大きさの年表（2026年10月時点）

ひとことで言うと

パラメーターは、AI のモデルが学習で決める数値のことだ。Google の機械学習の用語集はパラメーターを「モデルが学習の間に学ぶ重みとバイアス」と定義している。重みは、モデルが入力の値に掛け合わせる値だ。LLM（大規模言語モデル）の説明でよく見る「70B」のような数字は、このパラメーターがいくつあるか（パラメーター数）を表す。

身近な例は、同じ名前のモデルに大きさの違う版があることだ。Google の Gemma 4 には、Pixel や Chrome のような端末やブラウザ向けの E2B と E4B（有効パラメーター2B と4B）から、310億パラメーターの31B まである。大きな版ほど、動かすのに多くのメモリが要る。

仕組み

パラメーターは作るときと使うときで次のように扱われる。

1. 学習で値を決める。Google の用語集は学習を「モデルの最適な重みを決める作業」と説明する。
2. 人が先に決める値は分けて扱う。学習率などの、人やチューニングのサービスがモデルに与える値は「ハイパーパラメーター」と呼ぶ。
3. 決まった値（重み）を公開するモデルもある。オープンウェイトのモデルでは、重みのファイルを入手して手元で動かせる。xAI は2024年3月に Grok-1 の重みを公開した。
4. 使うときは、重みをメモリに読み込んで推論（学んだ重みで答えを出すこと）をする。Google は Gemma 4 の読み込みに要るメモリを、パラメーター数と量子化の度合いをもとに見積もっている。

数え方の単位は英語の位取りで、B は billion（10億）を表す。Chinchilla の論文は「70 million to over 16 billion parameters」と書き、同じ要旨の中で Chinchilla を「70B parameters」と書いている。70B は700億、671B は6,710億だ。

MoE（専門家の混合）のモデルでは、パラメーター数を2つ書く。全体のパラメーター数（total）と、1トークン（AI が文章を数える単位）を処理するときに動くパラメーター数（activated、active）だ。DeepSeek の Hugging Face のモデルカードでは、DeepSeek-R1 は全体が671B、動くのが37B だ。xAI は Grok-1 を、3,140億パラメーターのうち1トークンで動く重みが25%の MoE と説明している。Google の Gemma 4 26B A4B は全体26B の MoE で、生成のときにトークンごとに動くのは40億パラメーターだ。

表で見る最新の状況

上の年表は TRAIL の DB から、出来事の説明かモデルの名前にパラメーター数が書かれた言語モデルの出来事11件を古い順に並べたものだ。開発元は Perplexity、xAI、DeepSeek、Sakana AI、Meta、Google の6つで、確認日は2026年10月10日から10月24日。

最初は2023年11月29日で、Perplexity が pplx-7b-online と pplx-70b-online を API で公開した。2024年3月17日には xAI が314B の Grok-1 の重みを公開し、12月26日には DeepSeek が総パラメーター671B、活性化37B の DeepSeek-V3 を公開した。2025年1月30日の Sakana AI の TinySwallow-1.5B は1.5B だ。

2026年には、全体と動く量の2つを書いた発表が DeepSeek と Meta から出た。4月24日の DeepSeek-V4 のプレビュー版は、V4-Pro が総1.6T（1.6兆）で活性化49B、V4-Flash が総284B で活性化13B だ。10月15日に Meta が重みを公開した Muse Spark Open は、総パラメーター8,160億のうち420億が動く。

小さい側では、10月16日に Perplexity が判定用のモデル pplx-decider-flash-v1.2 を4B で出した。料金は入力100万トークンあたり0.01ドル（1万トークンあたり0.0001ドル）だ。

TRAIL の年表では、2026年の出来事だけでも4B から1.6T までのモデルが並ぶ。9月23日に Antigravity SDK がローカルのモデルに対応した出来事では、最初に対応したのが Gemma 4 26B A4B で、24GB を超える VRAM（GPU のメモリ）かユニファイドメモリを推奨している。

全体のパラメーター数と動くパラメーター数の違い

Google の Gemma 4 のドキュメントは、26B A4B について、速いルーティングと推論の速さを保つために、260億パラメーターのすべてをメモリに読み込む必要があると書く。そのため、必要なメモリは4B のモデルより、26B の密なモデルにずっと近いという。

仕事でどう関係するか

モデルを社内のパソコンやサーバーで動かすか決めるとき

ローカルLLMとして手元で動かすなら、パラメーター数から必要なメモリの見当がつく。Google は Gemma 4 の推論に要る GPU か TPU のメモリのおおよその量を表で出している。31B のモデルは16ビットで69.9GB、量子化（数値の精度を下げてメモリを減らすこと）した4ビットで17.5GB だ。最も小さい E2B は16ビットで11.4GB、4ビットで2.9GB になる。この表はほかに読み込むものの分として20%を上乗せした値だ。

Meta によると、300億パラメーターの Muse Glimmer はそのままの精度では55GB を超えるメモリが要り、一般向けの GPU が持つ量をはるかに超える。Meta は重みを約4ビットに圧縮して20GB 未満にし、作業用のメモリなどと合わせて24GB か32GB に収めている。

大きなオープンウェイトのモデルの置き場所を考えるとき

Meta は総パラメーター8,160億の Muse Spark Open について、Mac Studio（M5 Ultra）は1台で最大512GB を GPU に使えるので、2台でモデル全体を収められると説明している。動くのは420億パラメーターだが、2台で収めるのはモデル全体だ。

モデルの名前の「70B」を読むとき

モデルの名前にパラメーター数が入っていることがある。DeepSeek-R1 と同時に公開された蒸留モデル（R1 が作ったデータで既存の公開モデルを調整したもの）は6種で、名前は DeepSeek-R1-Distill-Qwen-1.5B から DeepSeek-R1-Distill-Llama-70B までだ。仕様の文章から2つの数を分けて読むときは、次のように頼める。

次のモデルの仕様を読み、全体のパラメーター数と、1トークンあたりに動くパラメーター数を分けて書き出してください。書かれていない項目は「記載なし」としてください。
仕様：（モデルカードの文章を貼る）

注意点と限界

パラメーター数だけでは、モデルの性能は決まらない。Chinchilla の論文は、700億パラメーターの Chinchilla が、2,800億の Gopher、1,750億の GPT-3、5,300億の Megatron-Turing NLG などを幅広い評価で上回ったと報告した。Chinchilla は Gopher と同じ計算量で、4倍のデータで学習している。論文は、計算量を最適に使うには、モデルの大きさと学習のトークン数を同じ割合で増やすべきだとした。

LLaMA の論文も、130億パラメーターの LLaMA-13B が、ほとんどのベンチマークで1,750億の GPT-3 を上回ったと書いている。2020年の Scaling Laws の論文は、言語モデルの損失（予測の外れ具合）が、モデルの大きさ、データの量、学習の計算量のそれぞれとべき乗の関係にあると報告した。Google も Gemma 4 のドキュメントで、パラメーターとビット数が多いモデルは一般に能力が高いが、少ないモデルでも作業によっては足りる場合があると書く。

パラメーター数を公表しない提供元もある。OpenAI は2023年の GPT-4 の技術報告で、競争の状況と安全性を理由に、モデルの大きさを含む構造の詳細を載せていない。

メモリの見積もりにも限りがある。Gemma 4 のドキュメントによると、表の値は重みを読み込む分だけで、入力と出力のトークンが多いほど、使うメモリが増える。ファインチューニングには、推論よりかなり多くのメモリが要るという。

よくある質問

関連する用語

• LLM（大規模言語モデル）：大量のパラメーターを持つ言語モデル
• MoE（専門家の混合）：全体と動くパラメーター数を分けて書く作り方
• SLM（小規模言語モデル）：パラメーター数を小さく抑えた言語モデル
• 量子化：パラメーターの精度を下げてメモリを減らす方法
• ローカルLLM：パラメーター数とメモリで、手元の機械で動かせるかが変わる
• オープンウェイト：パラメーターの値（重み）を公開したモデル
• ツール：DeepSeek、Muse、Grok、Perplexity、Sakana AI、Antigravity
• 研究：Chinchilla の論文、Scaling Laws の論文、LLaMA の論文
• 記事：Meta の Muse Spark Open の公開