SLM(小規模言語モデル)とは?意味・仕組みと小型モデルの年表(2026年10月時点)
SLM(小規模言語モデル)(えすえるえむ)
SLM / Small Language Model / 小規模言語モデル / 小型言語モデル
SLM(小規模言語モデル)とは、パラメーターの数を小さく抑え、スマートフォンやパソコンでも動かしやすくした言語モデルのこと。何パラメーターから小規模と呼ぶかに、共通の基準はない。
要するに
- パラメーター数を抑え、スマートフォンやパソコンでも動かしやすくした言語モデル
- 「小規模」の線引きは提供元ごとに違い、パラメーター数を公表しない提供元もある
- 大きなモデルからの知識蒸留や量子化を使い、小さくても実用になるように作る
最終確認

小型・低コストの言語モデルの出来事
原論文と関連研究
目次8
ひとことで言うと
SLM(小規模言語モデル)は、LLM(大規模言語モデル)と同じしくみで文章を扱いながら、パラメーター(学習で決まる数値)の数を小さく抑えた言語モデルのことだ。小さい分、スマートフォンやパソコンの上で動かしやすく、動かす費用も抑えやすい。
身近な例はスマートフォンに組み込まれた AI だ。Google は2023年12月の発表で、Gemini Nano を「端末上の作業向けで最も効率のよいモデル」と説明し、Pixel 8 Pro の録音アプリの要約などに使った。
仕組み
SLM と呼ばれるモデルは、主に次の要素で「小さくても使える」ようにしている。
- パラメーター数を絞る:Microsoft の Phi-3 の技術報告では、38億パラメーターの phi-3-mini を「スマートフォンに載せられるほど小さい」と書く。
- 学習データを選ぶ:同じ報告によると、phi-3-mini は強く絞り込んだ公開のウェブのデータと、合成したデータで学習した。
- 大きなモデルから知識を移す:知識蒸留(大きな教師モデルの答え方を、小さな生徒モデルに学ばせる方法)を使う。Google の Gemma 2 の技術報告では、2B と 9B のモデルを知識蒸留で学習した。
- 重みを圧縮する:量子化(数値の精度を下げて、使うメモリを減らすこと)を組み合わせる。Meta は Muse Glimmer の重みを約4ビットに圧縮し、言語モデルの部分を20GB未満にしたと説明している。
どこからが「小さい」かに、共通の線はない。Microsoft は140億パラメーターの Phi-4 も「小規模言語モデル」と呼ぶ。Sakana AI は320億パラメーターのモデルを LLM、15億パラメーターのモデルを SLM と呼び分けている。Anthropic は Claude Haiku 5.5 を「小型モデル」と呼ぶが、パラメーター数は公表していない。
表で見る最新の状況
上の年表は TRAIL の DB から、提供元が小型、軽量、低コストと説明したモデルや、パラメーター数の小さいモデルを含む出来事10件を古い順に並べたものだ。開発元は7つで、確認日は2026年10月10日から10月19日。
最初は2023年12月6日の「Gemini 1.0 を発表」で、Ultra・Pro・Nano の3サイズのうち Nano が Pixel 8 Pro に載った。2025年1月には、DeepSeek が DeepSeek-R1 とあわせて小型の蒸留モデル6種を公開した。同じ月に Sakana AI が TinySwallow-1.5B を公開している。
2026年は5件が並ぶ。8月10日には Meta が端末で動く300億パラメーターの Muse Glimmer の重みを公開した。10月7日の Claude Haiku 5.5 は、Anthropic が最も安く速いとする小型モデルだ。10月16日には Perplexity が4Bの判定モデル pplx-decider-flash-v1.2 を入力100万トークンあたり0.01ドルで出した。
TRAIL の年表で、パラメーター数が書かれているのは10件のうち TinySwallow-1.5B、Muse Glimmer、Perplexity の4Bのモデルの3件だ。Gemini 2.5 Flash-Lite、GPT-5.4 mini、Claude Haiku 4.5 などは、安さや速さで説明されている。
TRAIL の DB では、Claude Haiku 5.5 の API は100万トークンあたり入力0.1ドル、出力0.5ドル(入力が10万トークン以下の場合)だ。1万トークンに直すと入力0.001ドル、出力0.005ドルになる。同じ Anthropic の Claude Opus 5.5 は入力4ドル、出力20ドル。GPT-6 Luna は入力0.1ドル、出力0.5ドル(入力が27.2万トークン以下の場合)で、OpenAI は「集中した大量の作業向けで最も効率のよいモデル」と書く。確認日は2026年10月23日と24日。
SLM と LLM の違い
| SLM(小規模言語モデル) | LLM(大規模言語モデル) | |
|---|---|---|
| 大きさの例 | phi-3-mini は38億、TinySwallow-1.5B は15億パラメーター | DeepSeek-R1 は総パラメーター6,710億 |
| 動く場所 | スマートフォンやパソコンで動くものもある | 多くはクラウドの基盤で動く |
| 向く仕事の例 | Claude Haiku 5.5:要約や分類のような大量の作業 | GPT-6 Astra:コードや調査にまたがる複雑な作業 |
| API の料金の例(100万トークンあたり) | Claude Haiku 5.5:入力0.1ドル、出力0.5ドル | Claude Opus 5.5:入力4ドル、出力20ドル |
| 作り方の例 | 大きなモデルからの知識蒸留、量子化 | 大量のデータと計算資源での学習 |
SLM とローカルLLMは重なるが、同じ意味ではない。ローカルLLMはモデルを手元の機械で動かす使い方を指し、SLM はモデルの大きさを指す。Claude Haiku 5.5 のように、クラウドの API だけで使う小型モデルもある。
仕事でどう関係するか
社外にデータを出さずに AI を使いたいとき
端末で動く SLM なら、データをクラウドに送らずに処理できる。Android の開発者向けドキュメントは、Gemini Nano はプロンプトを端末の中で実行し、機密のデータを端末に残せると書く。Sakana AI も TinySwallow-1.5B の使い道として、データを外に送らずローカルで完結する業務支援を挙げている。
大量の要約や分類の費用を見積もるとき
問い合わせの振り分けや、日報の要約のように、同じ処理を何万回も回す仕事では、モデルの単価がそのまま費用になる。Anthropic は Claude Haiku 5.5 を、要約や分類のような大量で費用に敏感な作業向けと説明している。大きなモデルと組み合わせる使い方もあり、Anthropic はコーディングで Haiku 5.5 を Opus 5.5 や Sonnet 5.5 の補助役にすると相性がよいとしている。
返答の速さが大事な画面に組み込むとき
ライブのチャット対応のように待たせられない場面では、速さが選ぶ基準になる。Anthropic は Haiku 5.5 を自社で最も速いモデルとし、Microsoft は Phi を、リアルタイムの用途に向く低い遅延のモデルと説明する。端末で動かす場合、Android のドキュメントによると通信の遅れはなくなるが、推論の速さは端末の性能で決まる。
小型モデルで足りるかは実際の業務の入力で確かめるとよい。
次の問い合わせを「請求」「解約」「不具合」「その他」のどれか1つに分類し、分類名だけを答えてください。
問い合わせ:(実際の問い合わせ文を貼る)注意点と限界
「小規模」の線引きは提供元ごとに違い、パラメーター数を公表しない提供元もある。TRAIL の年表でも、GPT-5.4 mini や Gemini 2.5 Flash-Lite にはパラメーター数が書かれていない。
端末で動くモデルにはできることの限りがある。Android のドキュメントは Gemini Nano にはトークンの上限、端末の性能、モデルの能力の限界があると書き、端末で Gemini Nano を使えないときは、クラウドの Gemini Flash や Pro に自動で回す使い方を案内している。
端末で動くといっても、どの機械でも動くわけではない。Meta によると、Muse Glimmer はそのままの精度では55GBを超えるメモリが要り、重みを量子化して20GB未満にし、作業用のメモリなども合わせて24GBか32GBに収めている。
小型モデルで使えない機能もある。OpenAI の GPT-6 Luna のページでは、ファインチューニングは「Not supported」だ。
よくある質問
SLM は何パラメーターから小規模と呼ぶのか
決まった基準はない。Microsoft は38億から140億パラメーターの Phi を小規模言語モデルと呼び、Sakana AI は15億パラメーターの TinySwallow を SLM と呼ぶ。Anthropic のように、パラメーター数を出さずに小型モデルと位置づける提供元もある。
SLM は無料で使えるか
モデルによる。TinySwallow-1.5B や Muse Glimmer のように重みが公開されたオープンウェイトのモデルは、ダウンロードして手元で動かせる。Claude Haiku 5.5 や GPT-6 Luna は API の利用料がかかり、TRAIL の DB では100万トークンあたり入力0.1ドル、出力0.5ドルで、入力が長いと上がる。
スマートフォンで動く SLM はあるか
ある。Google は Gemini Nano を Pixel 8 Pro に載せ、Microsoft は phi-3-mini をスマートフォンに載せられる大きさと説明した。Sakana AI は TinySwallow-1.5B-Instruct を iPhone 14 で動かしたデモを公開している。
知識蒸留と SLM はどう関係するか
知識蒸留は SLM を作る方法の1つだ。Sakana AI は320億パラメーターのモデルから15億パラメーターの TinySwallow へ知識を移した。Meta は Muse Glimmer を Muse Spark の出力で学習させ、DeepSeek は R1 が作ったデータで1.5Bから70Bまでの6つのモデルを調整した。
日本語に強い SLM はあるか
ある。Sakana AI の TinySwallow-1.5B は、東京科学大学の Swallow チームと共同で作った日本語の小規模言語モデルだ。Sakana AI の発表によると、同じ規模のモデルの中で、日本語の評価で最も高い性能だった。
関連する用語
- LLM(大規模言語モデル):SLM と同じしくみで、より大きく作った言語モデル
- ローカルLLM:モデルを手元の機械で動かす使い方。小さなモデルが中心になる
- オープンウェイト:手元で動かす SLM の多くは、重みが公開されている
- ファインチューニング:小さなモデルを自社のデータで追加学習する
- ツール:Claude、ChatGPT、Gemini、Muse、Sakana AI、Perplexity
- モデル:Claude Haiku 5.5、GPT-6 Luna
- 記事:Claude Haiku 5.5 の公開、Perplexity の Decisions API の新モデル
出典
- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone(arXiv:2404.14219)Microsoft
- Phi open model familyMicrosoft
- Gemma 2: Improving Open Language Models at a Practical Size(arXiv:2408.00118)Google DeepMind
- Distilling the Knowledge in a Neural Network(arXiv:1503.02531)Google
- Introducing Gemini: our largest and most capable AI modelGoogle
- Gemini NanoAndroid Developers
- 新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開Sakana AI
- Introducing Muse Glimmer: An Open Agentic Model That Runs on Your DeviceMeta
- Introducing Claude Haiku 5.5Anthropic
- GPT-6 LunaOpenAI
- deepseek-ai/DeepSeek-R1(モデルカード)DeepSeek
- 公開
- 執筆
- TRAIL編集部(編集方針)
