スケーリング則とは？意味・仕組みと原論文、モデルの大きさの年表（2026年11月時点）

ひとことで言うと

スケーリング則（Scaling laws）は、AI のモデルを大きくする、学習に使うデータを増やす、学習の計算を増やすと、性能がどれだけ良くなるかを表す経験的な法則だ。2020年1月に Jared Kaplan らが発表した原論文（TRAIL の解説）は、言語モデルの誤差がこの3つのそれぞれとべき乗則の関係にあると報告した。

大きなモデルの学習には多くの計算と電力がかかり、ふつうは一度しか学習できない。2022年の Chinchilla の論文はこう書き、計算の予算が先に決まっている中で、モデルの大きさを前もって見積もることが大事だとしている。スケーリング則は、どの大きさのモデルを、どれだけのデータで学習させるかを、学習の前に決める目安になる。

仕組み

Kaplan らの原論文は Transformer の言語モデルを多数学習させ、次の4つを報告した。

1. 性能を決める量は3つある：モデルのパラメーターの数（N、埋め込みの部分を除く）、学習データの量（D、トークン数）、学習の計算量（C）だ。性能は主にこの規模で決まり、層の深さと幅の比のような形には、適当な範囲ならあまり左右されない。
2. べき乗則に乗る：ほかの2つが足を引っ張らなければ、誤差はそれぞれの量とべき乗則の関係になる。たとえばパラメーターの数を2倍にすると、誤差は0.95倍になる。
3. 大きさとデータは一緒に増やす：片方を止めてもう片方だけ増やすと、効き目が薄れていく。論文は、モデルを8倍にするとき、データはおよそ5倍に増やせば足りるとした。
4. 計算の予算は主にモデルの大きさに回す：計算の予算が決まっているなら、とても大きなモデルを、学習しきる前に止めるのが最もよいとした。

この結論は、2022年3月に Jordan Hoffmann らが発表した Chinchilla の論文（TRAIL の解説）で見直された。

• 7,000万から160億を超えるパラメーターのモデル400本以上を、50億から5,000億トークンで学習させて調べた。
• 計算が最も効率よくなるのは、モデルの大きさと学習のトークン数を同じ割合で増やすときだった。モデルを2倍にするなら、トークン数も2倍にする。
• Kaplan らの結果では、計算の予算を10倍にするとモデルを5.5倍、トークン数を1.8倍にすることになる。Hoffmann らは、Kaplan らがすべてのモデルで学習の予定（学習率の下げ方）を固定したことが、この差の一因になったと説明している。
• 当時の大きなモデルの多くは、約3,000億トークンで学習されていた。論文は、それらが十分に学習されていないと結論づけた。

論文はこれを確かめるため、Gopher（2,800億パラメーター）と同じ計算の予算で、700億パラメーターの Chinchilla を1.4兆トークンで学習させた。Chinchilla は、より大きな Gopher、GPT-3、Jurassic-1、Megatron-Turing NLG を、幅広い評価で上回った。

表で見る最新の状況

上の論文の一覧はスケーリング則とその後の研究6本を並べたものだ。2020年の Kaplan らの論文と GPT-3 の論文のあと、2022年に Chinchilla と PaLM（80億、620億、5,400億パラメーターのモデルを比べた）が出た。2023年2月の LLaMA は、公開されたデータだけで70億から650億パラメーターのモデルを学習し、モデルを大きくするだけでなく学習のトークンを増やす設計を選んだ。2025年1月の s1 は、学習のあとに、答える前に考える量を増やすと性能がどう変わるかを調べた。

年表は TRAIL の DB から、パラメーターの数が書かれたモデルの出来事7件を並べた。確認日は2026年10月10日から10月16日。

• 2024年3月17日の「Grok-1 の重みを公開」は、3,140億パラメーターの Mixture-of-Experts のモデルだ。
• 2024年12月26日の「DeepSeek-V3 を公開」は、総パラメーター6,710億のうち、1回の計算で動くのは370億だ。
• 2026年4月24日の「DeepSeek-V4 プレビュー版を公開」の V4-Pro は総1.6兆で動くのは490億、V4-Flash は総2,840億で動くのは130億だ。
• 2026年10月15日の「Muse Spark Open の重みを公開」は、総8,160億のうち420億が動く。
• 小さいモデルも続く。2025年1月30日の TinySwallow-1.5B は、320億パラメーターのモデルから知識を移した15億パラメーターの日本語のモデルで、スマートフォンや PC で動く。

TRAIL の年表では、総パラメーターの最大は1.6兆で、動く数が書かれた4つのモデルでは、その数は130億から490億の間にある。DeepSeek-V3 は、一部だけを動かす MoE（Mixture-of-Experts）の作りのモデルだ。

学習のスケーリング則と、推論のときのスケーリングの違い

OpenAI は2024年9月に、o1 の性能は強化学習の量（学習のときの計算）と、考える時間（テストのときの計算）のどちらを増やしても、一貫して上がると説明した。OpenAI は o1 を、答える前に考える推論モデルだと説明している。s1 の論文は、考えを終えようとしたモデルに「Wait」を足して考えを続けさせる方法で、数学の試験 AIME24 の正答率が50%から57%に上がったと報告した。

仕事でどう関係するか

新しいモデルの発表を読むとき

パラメーターの数だけで性能を比べない。Chinchilla は、700億パラメーターでも、4倍のデータで学習させて、2,800億パラメーターの Gopher を上回った。発表を読むときは、学習のトークン数と、MoE なら1回の計算で動くパラメーターの数も確かめると、モデルの規模を比べやすい。

小さいモデルで足りるかを考えるとき

Chinchilla の論文は、モデルを小さくすると推論の費用がかなり下がり、小さな機材で使いやすくなると書いている。手元の PC で動かすローカルLLMを選ぶときは、パラメーターの数に加えて、学習のトークン数も確かめておく。

AI の性能がこの先も伸びるかを考えるとき

Kaplan らは、測った範囲の上の端でも傾向から外れる兆しはないとしつつ、誤差がゼロになる前にいずれ頭打ちになるはずだと書いた。Chinchilla の論文は、さらに規模を広げるには大きく質の高いデータが要になるとした。2024年9月には OpenAI が、答える前に考える計算を増やしても o1 の性能が上がると報告した。

注意点と限界

• 原論文が測ったのは、学習した文章の次の語を当てるときの誤差（交差エントロピー損失）だ。仕事で使う課題の出来を直接測ったものではない。
• 式の定数は語彙の大きさや文章の区切り方で変わり、それ自体に根本的な意味はないと原論文は書いている。測ったのは WebText2 という文章のデータだ。
• Chinchilla の論文は限界として、大規模に比べられた学習は Chinchilla と Gopher の2回だけで、中間の規模の確認がないことを挙げた。計算が大きい範囲では曲線がわずかに曲がっており、最適なモデルの大きさを大きく見積もりすぎている可能性もあるとしている。
• 調べた学習はどれも、データを1周しないうちに終えている。同じデータを何周も学習する場合は、今後の課題とされた。
• データを増やすほど、有害な言葉や偏り、個人の情報が混ざる量も増える。Chinchilla の論文は、データの中身を調べることがより大事になると書いている。

よくある質問

関連する用語

• パラメーター（パラメータ数）：モデルの大きさを表す数
• LLM（大規模言語モデル）：スケーリング則が調べられた対象の言語モデル
• MoE：一部の専門家だけを動かして、大きなモデルを効率よく使う作り
• 推論モデル：答える前に考えるように作られたモデル
• 基盤モデル：大量のデータで学習し、いろいろな用途に使えるように作られたモデル
• ツール：DeepSeek、Grok、Muse、Sakana AI