蒸留（知識蒸留）とは？意味・仕組みと蒸留で作ったモデルの年表（2026年11月時点）

ひとことで言うと

蒸留（知識蒸留）は、大きく性能の高いモデルの知識を、小さなモデルに移す学習の方法だ。手本になる大きなモデルを「教師」、学ぶ小さなモデルを「生徒」と呼ぶ。Anthropic は、能力の低いモデルを強いモデルの出力で学習させる方法だと説明し、広く使われている正当な学習方法だとしている。

身近な例は Google の Gemini 1.5 Flash だ。Google は2024年5月14日、1.5 Flash を 1.5 Pro から蒸留で学習させたと発表した。大きなモデルのいちばん大事な知識と技能を、小さく効率のよいモデルに移す方法だと説明している。1.5 Flash は大量で頻度の高い作業向けで、動かす費用も抑えたモデルだという。

仕組み

「蒸留（distilling）」の名でこの方法を示したのは、Geoffrey Hinton、Oriol Vinyals、Jeff Dean が2015年3月に発表した論文（TRAIL の解説）だ。複数のモデルの予測を平均すると性能は上がるが、それでは計算が重く、多くの利用者に提供しにくい。複数のモデルの知識を1つのモデルに詰め直せることは、Rich Caruana らがすでに示していた。論文は、それを別の圧縮の方法で発展させたとしている。

TRAIL の解説に沿うと、原論文の蒸留は次の順で進む。

1. 教師を用意する。大きなモデルや、複数のモデルの組がこれにあたる。
2. 教師に入力を与えて答えを出させる。正解の候補だけでなく、ほかの候補にどれだけの確率を割り振ったかも使う。
3. 温度（確率の分け方をなだらかにする設定）を上げて、正解以外の候補の確率も見えやすくする。
4. 生徒を、教師の確率の分け方と、ふつうの正解の両方から学習させる。

TRAIL の解説によると、原論文の音声認識の実験では、10個のモデルの組の単語誤り率が10.7%で、蒸留した1つのモデルも10.7%だった。2019年10月の DistilBERT の論文は、文章を理解するモデル BERT を事前学習の段階で蒸留した。大きさを40%減らしながら言語理解の能力の97%を保ち、60%速くなったと報告している。

LLM（大規模言語モデル）では、教師のモデルが出した答えを学習データにする方法が使われる。OpenAI は、高性能なモデルの出力で小さく安いモデルをファインチューニング（追加で学習させること）し、特定の作業で高性能なモデルに近い成績をずっと低い費用で出す方法だと説明している。

表で見る最新の状況

上の年表は、蒸留を使って作ったモデルの出来事3件を、古い順に並べたものだ。確認日は2026年10月10日から10月24日。

• 2023年11月28日、Stability AI は「1ステップで生成する SDXL Turbo」を公開した。Adversarial Diffusion Distillation という新しい蒸留の技術を使い、1ステップで画像を作る。重みは個人の非商用の利用に限る研究用のライセンスで公開した。
• 2025年1月20日、DeepSeek は推論モデルの「DeepSeek-R1」を公開し、あわせて小型の蒸留モデル6種も公開した。MIT ライセンスのオープンソースだ。
• 2025年1月30日、Sakana AI は「TinySwallow-1.5B」を公開した。32B（320億パラメーター）のモデルから TAID という手法で知識を蒸留した、1.5B の日本語の小さなモデルで、スマートフォンやパソコンの上で動く。

TRAIL の年表では、3件とも蒸留したモデルの重みを公開している。画像の生成では1ステップで画像を作る使い方、言語では大きなモデルの能力を小さなモデルに移す使い方が並ぶ。

DeepSeek-R1 の論文は、大きなモデルが身につけた推論のパターンを、小さなモデルの推論の力を伸ばすのに使えると書いている。下の表は、蒸留に関わる論文の TRAIL の解説3本だ。2021年の DINO は、教師と生徒の出力を近づける自己蒸留を、画像のモデルに使った研究だ。

蒸留とファインチューニング、ふつうの事前学習の違い

Google の Gemma 2 の論文は、2B と 9B のモデルを、次の語を当てるふつうの学習の代わりに知識蒸留で学習させた。論文は、大きさの割に高い性能が出て、2〜3倍大きいモデルとも競える結果になったと報告している。OpenAI のやり方では、蒸留はファインチューニングの一種として行う。大きなモデルの答えを集めて学習データにし、小さなモデルをファインチューニングする。

仕事でどう関係するか

決まった作業を大量に、安く回したいとき

OpenAI のドキュメントは、蒸留の手順を次のように説明している。まず大きなモデル（例として gpt-4.1）のプロンプトを、評価の基準でよい成績が出るまで詰める。次に、そのモデルの答えを集め、基準に合う答えで学習データを作る。最後に、小さなモデル（例として gpt-4.1-mini）をそのデータでファインチューニングする。OpenAI は、こうして特定の作業で、大きく高いモデルに近い成績を小さなモデルで出せることがあるとしている。

ただし、OpenAI はファインチューニングの基盤の提供を縮小しており、新しい利用者は使えない。対象となる既存の顧客も、学習を始められる期間には期限がある。

小さなモデルや「蒸留版」を選ぶとき

蒸留したモデルの成績は、平均の数字だけで決めない。TRAIL の DistilBERT の解説によると、論文の「97%の能力を保つ」は複数の課題をまとめた評価についての表現で、課題によって差は違った。蒸留版のモデルを使うなら、自分の作業に近い問題で、教師にあたる大きなモデルと並べて試すとよい。

次の10件の問い合わせを、それぞれ「請求」「不具合」「解約」「その他」に分類してください。
答えは「番号：区分」の形で1行ずつ書いてください。
（ここに問い合わせを貼る）

TRAIL の原論文の解説は、生徒の品質、計算の費用、教師との差を、同じ評価の条件で確かめるよう勧めている。上のような同じ指示を大きなモデルと小さなモデルの両方に出し、答えを並べて比べる。

画像の生成にも蒸留版がある。TRAIL の DB では、Stability AI の Stable Diffusion 3.5 Large Turbo は 3.5 Large の蒸留版で、4ステップで画像を作る。

他社の AI の出力を学習に使いたいとき

他社のモデルの出力を勝手に学習に使うと、規約に反することがある。OpenAI の利用規約は、出力を使って OpenAI と競合するモデルを開発することを禁止事項に挙げている。Anthropic は2026年2月23日、3つの AI の研究所が約24,000の不正なアカウントを通じて Claude と1,600万回を超えるやり取りをし、利用規約などに違反して Claude の能力を引き出していたと発表した。

注意点と限界

• 生徒は教師の誤りや偏りも引き継ぐことがある。TRAIL の原論文の解説は、温度、学習データ、生徒の大きさで結果が変わるとも指摘している。
• 教師を作る費用は、生徒の大きさを見ただけではわからない。TRAIL の DistilBERT の解説は、教師を一から作り直すなら、その学習の費用も評価に入れるべきだとしている。
• Anthropic は、不正に蒸留したモデルは、危険な使い方を防ぐための安全の仕組みを引き継ぎにくいとしている。
• 蒸留した小さなモデルは、すべての作業で教師と同じ成績になるわけではない。OpenAI も蒸留を、特定の作業で高性能なモデルの成績に近づける方法として説明している。

よくある質問

関連する用語

• SLM（小規模言語モデル）：蒸留は小さな言語モデルを作る方法の1つ
• 量子化：重みのビット数を減らしてモデルを軽くする方法
• ファインチューニング：既存のモデルを追加で学習させる方法。OpenAI の蒸留はこの形で行う
• LLM（大規模言語モデル）：教師と生徒の両方になるモデル
• オープンウェイト：重みを公開したモデル。蒸留モデルも重みが公開されることがある
• ツール：DeepSeek、Sakana AI、Stable Diffusion、Gemini