SLM(小規模言語モデル)とは?意味・仕組みと小型モデルの年表(2026年10月時点)

SLM(小規模言語モデル)(えすえるえむ)

SLM / Small Language Model / 小規模言語モデル / 小型言語モデル

SLM(小規模言語モデル)とは、パラメーターの数を小さく抑え、スマートフォンやパソコンでも動かしやすくした言語モデルのこと。何パラメーターから小規模と呼ぶかに、共通の基準はない。

要するに

  • パラメーター数を抑え、スマートフォンやパソコンでも動かしやすくした言語モデル
  • 「小規模」の線引きは提供元ごとに違い、パラメーター数を公表しない提供元もある
  • 大きなモデルからの知識蒸留や量子化を使い、小さくても実用になるように作る

最終確認

「SLM(小規模言語モデル)」を表すイメージ画像

小型・低コストの言語モデルの出来事

TRAIL の DB の10件。各行の確認日に、出典に書かれていた値です(最新の確認は)。

  1. Gemini・モデル

    Gemini 1.0 を発表

    公式の出典最終確認

  2. DeepSeek・モデル

    DeepSeek-R1 を公開

    公式の出典最終確認

  3. Sakana AI・モデル

    TinySwallow-1.5B を公開

    公式の出典最終確認

  4. Gemini・モデル

    Gemini 2.5 Flash-Lite が GA

    公式の出典最終確認

  5. Claude・モデル

    Claude Haiku 4.5 を公開

    公式の出典最終確認

  6. Codex・モデル

    GPT-5.4 mini を Codex に追加

    公式の出典最終確認

  7. ChatGPT・モデル

    GPT-6 Sol と Luna を公開

    公式の出典最終確認

  8. Claude・モデル

    Claude Haiku 5.5 を公開

    公式の出典最終確認

  9. Perplexity・モデル

    Decisions API に v1.2 と軽量 Flash

    公式の出典最終確認

原論文と関連研究

TRAIL の論文解説3本。年は論文の初公開の年です。

目次8

ひとことで言うと

SLM(小規模言語モデル)は、LLM(大規模言語モデル)と同じしくみで文章を扱いながら、パラメーター(学習で決まる数値)の数を小さく抑えた言語モデルのことだ。小さい分、スマートフォンやパソコンの上で動かしやすく、動かす費用も抑えやすい。

身近な例はスマートフォンに組み込まれた AI だ。Google は2023年12月の発表で、Gemini Nano を「端末上の作業向けで最も効率のよいモデル」と説明し、Pixel 8 Pro の録音アプリの要約などに使った。

仕組み

SLM と呼ばれるモデルは、主に次の要素で「小さくても使える」ようにしている。

  • パラメーター数を絞る:Microsoft の Phi-3 の技術報告では、38億パラメーターの phi-3-mini を「スマートフォンに載せられるほど小さい」と書く。
  • 学習データを選ぶ:同じ報告によると、phi-3-mini は強く絞り込んだ公開のウェブのデータと、合成したデータで学習した。
  • 大きなモデルから知識を移す:知識蒸留(大きな教師モデルの答え方を、小さな生徒モデルに学ばせる方法)を使う。Google の Gemma 2 の技術報告では、2B と 9B のモデルを知識蒸留で学習した。
  • 重みを圧縮する:量子化(数値の精度を下げて、使うメモリを減らすこと)を組み合わせる。Meta は Muse Glimmer の重みを約4ビットに圧縮し、言語モデルの部分を20GB未満にしたと説明している。

どこからが「小さい」かに、共通の線はない。Microsoft は140億パラメーターの Phi-4 も「小規模言語モデル」と呼ぶ。Sakana AI は320億パラメーターのモデルを LLM、15億パラメーターのモデルを SLM と呼び分けている。Anthropic は Claude Haiku 5.5 を「小型モデル」と呼ぶが、パラメーター数は公表していない。

表で見る最新の状況

上の年表は TRAIL の DB から、提供元が小型、軽量、低コストと説明したモデルや、パラメーター数の小さいモデルを含む出来事10件を古い順に並べたものだ。開発元は7つで、確認日は2026年10月10日から10月19日。

最初は2023年12月6日の「Gemini 1.0 を発表」で、Ultra・Pro・Nano の3サイズのうち Nano が Pixel 8 Pro に載った。2025年1月には、DeepSeek が DeepSeek-R1 とあわせて小型の蒸留モデル6種を公開した。同じ月に Sakana AI が TinySwallow-1.5B を公開している。

2026年は5件が並ぶ。8月10日には Meta が端末で動く300億パラメーターの Muse Glimmer の重みを公開した。10月7日の Claude Haiku 5.5 は、Anthropic が最も安く速いとする小型モデルだ。10月16日には Perplexity が4Bの判定モデル pplx-decider-flash-v1.2 を入力100万トークンあたり0.01ドルで出した。

TRAIL の年表で、パラメーター数が書かれているのは10件のうち TinySwallow-1.5B、Muse Glimmer、Perplexity の4Bのモデルの3件だ。Gemini 2.5 Flash-Lite、GPT-5.4 mini、Claude Haiku 4.5 などは、安さや速さで説明されている。

TRAIL の DB では、Claude Haiku 5.5 の API は100万トークンあたり入力0.1ドル、出力0.5ドル(入力が10万トークン以下の場合)だ。1万トークンに直すと入力0.001ドル、出力0.005ドルになる。同じ Anthropic の Claude Opus 5.5 は入力4ドル、出力20ドル。GPT-6 Luna は入力0.1ドル、出力0.5ドル(入力が27.2万トークン以下の場合)で、OpenAI は「集中した大量の作業向けで最も効率のよいモデル」と書く。確認日は2026年10月23日と24日。

SLM と LLM の違い

SLM(小規模言語モデル) LLM(大規模言語モデル)
大きさの例 phi-3-mini は38億、TinySwallow-1.5B は15億パラメーター DeepSeek-R1 は総パラメーター6,710億
動く場所 スマートフォンやパソコンで動くものもある 多くはクラウドの基盤で動く
向く仕事の例 Claude Haiku 5.5:要約や分類のような大量の作業 GPT-6 Astra:コードや調査にまたがる複雑な作業
API の料金の例(100万トークンあたり) Claude Haiku 5.5:入力0.1ドル、出力0.5ドル Claude Opus 5.5:入力4ドル、出力20ドル
作り方の例 大きなモデルからの知識蒸留、量子化 大量のデータと計算資源での学習

SLM とローカルLLMは重なるが、同じ意味ではない。ローカルLLMはモデルを手元の機械で動かす使い方を指し、SLM はモデルの大きさを指す。Claude Haiku 5.5 のように、クラウドの API だけで使う小型モデルもある。

仕事でどう関係するか

社外にデータを出さずに AI を使いたいとき

端末で動く SLM なら、データをクラウドに送らずに処理できる。Android の開発者向けドキュメントは、Gemini Nano はプロンプトを端末の中で実行し、機密のデータを端末に残せると書く。Sakana AI も TinySwallow-1.5B の使い道として、データを外に送らずローカルで完結する業務支援を挙げている。

大量の要約や分類の費用を見積もるとき

問い合わせの振り分けや、日報の要約のように、同じ処理を何万回も回す仕事では、モデルの単価がそのまま費用になる。Anthropic は Claude Haiku 5.5 を、要約や分類のような大量で費用に敏感な作業向けと説明している。大きなモデルと組み合わせる使い方もあり、Anthropic はコーディングで Haiku 5.5 を Opus 5.5 や Sonnet 5.5 の補助役にすると相性がよいとしている。

返答の速さが大事な画面に組み込むとき

ライブのチャット対応のように待たせられない場面では、速さが選ぶ基準になる。Anthropic は Haiku 5.5 を自社で最も速いモデルとし、Microsoft は Phi を、リアルタイムの用途に向く低い遅延のモデルと説明する。端末で動かす場合、Android のドキュメントによると通信の遅れはなくなるが、推論の速さは端末の性能で決まる。

小型モデルで足りるかは実際の業務の入力で確かめるとよい。

プロンプト
次の問い合わせを「請求」「解約」「不具合」「その他」のどれか1つに分類し、分類名だけを答えてください。
問い合わせ:(実際の問い合わせ文を貼る)

注意点と限界

「小規模」の線引きは提供元ごとに違い、パラメーター数を公表しない提供元もある。TRAIL の年表でも、GPT-5.4 mini や Gemini 2.5 Flash-Lite にはパラメーター数が書かれていない。

端末で動くモデルにはできることの限りがある。Android のドキュメントは Gemini Nano にはトークンの上限、端末の性能、モデルの能力の限界があると書き、端末で Gemini Nano を使えないときは、クラウドの Gemini Flash や Pro に自動で回す使い方を案内している。

端末で動くといっても、どの機械でも動くわけではない。Meta によると、Muse Glimmer はそのままの精度では55GBを超えるメモリが要り、重みを量子化して20GB未満にし、作業用のメモリなども合わせて24GBか32GBに収めている。

小型モデルで使えない機能もある。OpenAI の GPT-6 Luna のページでは、ファインチューニングは「Not supported」だ。

よくある質問

SLM は何パラメーターから小規模と呼ぶのか

決まった基準はない。Microsoft は38億から140億パラメーターの Phi を小規模言語モデルと呼び、Sakana AI は15億パラメーターの TinySwallow を SLM と呼ぶ。Anthropic のように、パラメーター数を出さずに小型モデルと位置づける提供元もある。

SLM は無料で使えるか

モデルによる。TinySwallow-1.5B や Muse Glimmer のように重みが公開されたオープンウェイトのモデルは、ダウンロードして手元で動かせる。Claude Haiku 5.5 や GPT-6 Luna は API の利用料がかかり、TRAIL の DB では100万トークンあたり入力0.1ドル、出力0.5ドルで、入力が長いと上がる。

スマートフォンで動く SLM はあるか

ある。Google は Gemini Nano を Pixel 8 Pro に載せ、Microsoft は phi-3-mini をスマートフォンに載せられる大きさと説明した。Sakana AI は TinySwallow-1.5B-Instruct を iPhone 14 で動かしたデモを公開している。

知識蒸留と SLM はどう関係するか

知識蒸留は SLM を作る方法の1つだ。Sakana AI は320億パラメーターのモデルから15億パラメーターの TinySwallow へ知識を移した。Meta は Muse Glimmer を Muse Spark の出力で学習させ、DeepSeek は R1 が作ったデータで1.5Bから70Bまでの6つのモデルを調整した。

日本語に強い SLM はあるか

ある。Sakana AI の TinySwallow-1.5B は、東京科学大学の Swallow チームと共同で作った日本語の小規模言語モデルだ。Sakana AI の発表によると、同じ規模のモデルの中で、日本語の評価で最も高い性能だった。

関連する用語

出典

公開
執筆
TRAIL編集部(編集方針)

この用語に関係するツール

  • Claude

    Anthropic

    文章作成・コーディング・調査に使えるAIアシスタント

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Pro $20/月(年払いは月$17、$200一括)

    年表
    94件
    最新の更新
    2026.10.23
  • ChatGPT

    OpenAI

    文章、画像、調査、開発を会話で任せられるAIアシスタント

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Go ¥1,400/月

    年表
    98件
    最新の更新
    2026.10.16
  • Gemini

    Google

    Google の対話型AI。文章・画像・動画・調査に対応

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Google AI Plus ¥725/月

    年表
    88件
    最新の更新
    2026.10.20
  • Muse

    Meta

    Meta のパーソナルAIエージェントとAIモデル群

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Powerプラン $20/月

    年表
    19件
    最新の更新
    2026.10.23
  • Sakana AI

    Sakana AI

    日本発のAI研究開発企業。Fugu・Namazu・Marlinを提供

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Marlin Pro 月額150,000円

    年表
    48件
    最新の更新
    2026.10.23
  • Perplexity

    Perplexity AI

    出典つきで答える AI 検索と業務エージェント

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Pro 月$17相当(年払い)

    年表
    56件
    最新の更新
    2026.10.22
  • DeepSeek

    DeepSeek

    低価格で使える中国発の対話AIとAPI

    • 無料プランあり
    • 画面の日本語なし
    • APIあり

    有料API deepseek-flash 入力(キャッシュなし)$0.15〜0.30、出力 $0.6〜1.2(100万トークンあたり)

    年表
    31件
    最新の更新
    2026.10.17