合成データとは？意味・仕組みと合成データを使った研究（2026年10月時点）

ひとことで言うと

合成データは人から集めたり現実の出来事を記録したりしたデータではなく、AI のモデルやプログラム、シミュレーションで作ったデータだ。AWS の解説は合成データを現実のデータをまねて計算で作ったデータと説明し、元のデータと同じ数学的な性質を持つが、同じ情報は含まないと書いている。

身近な例でいえば、病院の研究用のデータだ。AWS の解説は、元のデータと同じ割合で生物学的な特徴を保ちながら、患者の名前や住所はすべて架空にした合成データを例に挙げている。

仕組み

AI の開発で合成データを作って使う流れを、論文の要旨と AWS の解説をもとに書くと次のようになる。

1. 元にするものを用意する。AWS の解説によると、統計的な分布から作る方法では、まず実データを調べて、その下にある分布を見つける。
2. モデルやプログラムでデータを作る。AWS の解説は統計的な分布から作る方法、機械学習のモデルで作る方法、GAN や VAE などのディープラーニングで作る方法を挙げている。2022年の Self-Instruct の論文は、言語モデルに指示、入力、出力の例を作らせた。
3. できたデータを選別する。Self-Instruct の論文は、不正なものや似たものを除いてから学習に使った。
4. 学習や評価に使う。Self-Instruct の論文は、選別したデータで元のモデルを調整し、Super-NaturalInstructions という評価で、元の GPT-3 より33ポイント高い結果を報告した。

合成データの話では、蒸留（ディスティレーション）という言葉も出てくる。2015年の Hinton らの論文は、複数のモデルの知識を、動かしやすい1つのモデルに移す方法として蒸留を示した。

表で見る最新の状況

上の「合成データと蒸留に関わる論文」には、TRAIL が解説した論文から、合成データと蒸留に関わる5本を古い順に並べた。

• 2015年3月の知識蒸留の論文：複数のモデルの知識を、1つのモデルに移す方法を示した。
• 2022年12月の Constitutional AI の論文：Anthropic がモデルに自分の回答を批評させて書き直させ、その書き直した回答で元のモデルを調整した。AI が2つの回答を比べた好みのデータで好みのモデルを作り、強化学習の報酬に使っている。
• 2022年12月の Self-Instruct の論文：モデルが作った指示と回答の例で、同じモデルを調整した。
• 2024年4月の Phi-3 の技術報告：強く選別した公開の Web データと合成データで、38億パラメーターの phi-3-mini を学習させた。
• 2025年7月の Risk In Context の論文：合成した表のデータから、元のデータの行が漏れる危険を35の表で調べた。

Microsoft Research の Phi のシリーズは、最初のモデルから合成データを使っている。2023年6月の phi-1 の論文「Textbooks Are All You Need」は、Web から選んだ「教科書の質」のデータ60億トークンに、GPT-3.5 で作った教科書と練習問題10億トークンを加えて、13億パラメーターのコード用モデルを学習させた。2024年12月の phi-4 の技術報告は、Web などの自然なデータを主にする多くの言語モデルと違い、学習の全体に合成データを組み込んだと書いている。phi-4 の報告は、それまでの Phi のモデルは主に教師の GPT-4 の力を蒸留していたと書き、phi-4 は理系の質問応答でその教師を上回ったとしている。

ほかの開発元も合成データの使い方を公表している。NVIDIA は2024年6月の Nemotron-4 340B の技術報告で、モデルを調整する工程で使ったデータの98%超が合成データだったと書いた。小さな言語モデルを学習させるための合成データ作りに使えるとして、モデルと合成データを作る仕組みを公開している。

TRAIL の年表にも蒸留したモデルの出来事がある。2025年1月20日の DeepSeek-R1 の公開では、小型の蒸留モデル6種もあわせて公開された。同じ月の30日には、Sakana AI が32B のモデルから知識を蒸留した1.5B の日本語の TinySwallow-1.5B を公開している。

合成データと実データの違い

AWS の解説は、合成データの利点として、量をほぼ無制限に作れること、個人のデータを出さずに分析や研究に使えること、データの偏りを減らせることの3つを挙げている。

仕事でどう関係するか

小さなモデルの性能の説明を読むとき

Phi のシリーズのように小規模言語モデルの性能を説明するときや、Nemotron-4 340B のように小さなモデルを学習させるデータ作りを説明するときに、合成データが出てくる。phi-1.5 の技術報告は、既存の LLM に「教科書の質」のデータを作らせることで、Web の従来のデータより学習を良くするやり方を続けたと書いている。小さなモデルの発表を読むときは、どんなデータで学習し、どの大きなモデルを教師にしたかを確かめると、性能の数字の背景が分かる。

社内のデータで AI を調整したいとき

ファインチューニングには、入力と答えの例がたくさん要る。Self-Instruct の論文は、人が書いた指示のデータが量、種類、創造性の面で限られていることを問題にし、モデル自身にデータを作らせた。ただし、同じ論文の手法でも、生成したものから不正なものや似たものを除く工程を入れている。

社内の例を増やすときは、AI に下書きを頼むこともできる。

次の3件の問い合わせと回答の例を参考に、同じ形式の例を10件作ってください。
・実在の人名、会社名、電話番号、住所は使わないでください
・社内規程にない手続きは書かないでください
・3件の例と同じ内容のものは作らないでください

作った例はそのまま学習に使わず、人が確かめてから使う。

個人の情報を含むデータを外に出したいとき

AWS の解説は、医療、金融、法務のような規制の多い分野で、個人のデータの代わりに合成データを使い、分析や研究を外部に頼める場合があると書いている。ただし、2025年の Risk In Context の論文は、少数の元の行を例に見せて表を作らせる方法では、元の行がそのまま繰り返されることがあると指摘した。健康、金融、政策の35の表で調べ、この方法で使う基盤モデルが、比べた手法の中でいちばんプライバシーの危険が高かったと報告している。合成データだから個人の情報が漏れないとは言い切れない。

AI のアプリを評価するデータがないとき

Microsoft は、生成 AI のアプリを評価するテスト用のデータがないときに、LLM で評価用のデータを作る方法を Microsoft Foundry（classic）のドキュメントで案内している。作ったデータでアプリの品質と安全性を評価する。この機能はプレビュー版で、Microsoft は本番の作業には勧めていない。hub を使う形のプロジェクト向けの古い案内でもある。

注意点と限界

• モデルが作ったデータで学習をくり返すと、モデルに欠陥が出ることがある。2023年の「The Curse of Recursion」の論文は、モデルが作った内容で学習すると、元のデータの分布の端（珍しい例）が消え、元に戻らない欠陥が出ると報告し、これをモデル崩壊（model collapse）と呼んだ。
• 崩壊を避けられるという研究もある。2024年の「Is Model Collapse Inevitable?」の論文は、実データを合成データで置き換えると崩壊に向かうが、実データを残して合成データを積み増すと崩壊を避けられたと報告している。モデルが作ったデータで学習をくり返すときは、実データを捨てずに残すかどうかが分かれ目になる。
• 品質の確認に手間がかかる。AWS の解説は、元の個人をたどれなくするために正確さを下げる必要がある場合があり、プライバシーと正確さが両立しにくいと書いている。大量に作ると、人が確かめるのに時間がかかる。
• 珍しい例は再現しにくい。AWS の解説は、現実のデータに含まれる外れ値や異常は、合成データを作る仕組みではほとんど再現できないと書いている。
• 本物の人のデータの価値は残る。The Curse of Recursion の論文は、ネット上に LLM の作った内容が増えるほど、人と仕組みの本物のやり取りから集めたデータの価値が高まると書いている。

よくある質問

関連する用語

• 用語：小規模言語モデル（SLM）、ファインチューニング、強化学習、LLM
• ツール：DeepSeek、Sakana AI
• 研究：Phi-3、Self-Instruct、知識蒸留、Risk In Context