自己教師あり学習とは？意味・仕組みと主な論文5本（2026年11月時点）

ひとことで言うと

自己教師あり学習（Self-supervised learning、SSL）は、人が付けたラベルの代わりに、ラベルのないデータそのものから問題と正解を作ってモデルを学ばせる方法だ。Google の機械学習の用語集は、ラベルなしの例から代理ラベルを作り、教師なし学習の問題を教師あり学習の問題に変える一連の手法と説明している。

身近な例は穴埋め問題だ。同じ用語集は「The ____ in the hat came back.」という文の空白に入る語の確率を計算する例を載せている。文の一部を隠せば、隠した語がそのまま正解になるので、人が正解を書き込む必要がない。

仕組み

1. ラベルのないデータを集める。BERT の論文では BooksCorpus（8億語）と英語版 Wikipedia（25億語）の文章を使った。
2. データの一部を隠したり変えたりして、問題と正解を作る。Google の用語集はこれをノイズ除去と呼び、自己教師あり学習の一般的なアプローチとしている。元のデータが正解（ラベル）になり、ノイズを加えたデータが入力になる。
3. モデルに正解を当てさせて学ばせる。BERT は各入力のトークン（AI が文章を数える単位）の15%を無作為に選んで隠し、前後の文脈だけから元の語を当てる。
4. 学んだモデルを別の課題に使う。BERT は出力の層を1つ足すだけでファインチューニング（追加の学習）でき、11の自然言語処理の課題で当時の最高の結果を出した。

問題の作り方はデータの種類で違う。

文章では、BERT のように隠した語を当てる方法のほかに、前の語から次の語を当てる方法がある。Google の用語集によると、自己回帰の言語モデルはそれまでのトークンをもとに次のトークンを予測し、Transformer ベースの大規模言語モデル（LLM）はすべて自己回帰だ。Meta の Llama 2 の論文は、LLM の作り方を、自己教師ありのデータの大きなコーパスで事前学習し、そのあと人の好みに合わせて調整すると書いている。

画像では、対照学習（同じものから作った組を、ほかと見分けられるように学ぶ方法）がある。SimCLR の論文は、1枚の画像を無作為に切り抜く、色を変える、ぼかすといった加工で2通りに変え、その2つが一致するように学ばせる。同じまとまり（ミニバッチ）の中のほかの画像から作ったものは、負例（違う組）として扱う。画像の一部を隠して元に戻させる方法もある。MAE の論文は画像を区切った小さな区画を無作為に隠し、欠けた画素を復元させた。隠す割合は75%のように高くした。

音声では、wav2vec 2.0 が音声の入力をモデルの内部の表現の段階で一部隠し、対照学習の課題を解かせた。

表で見る最新の状況

上の「自己教師あり学習の主な論文5本」は、TRAIL の研究記事から、ラベルのないデータで事前学習する方法を扱った論文を5本選び、古い順に並べたものだ。論文の数字は2026年11月6日に arXiv の論文のページで確かめた。

BERT（2018年10月）はラベルのない文章から、左右両方の文脈を使う表現を事前学習した。

MoCo（2019年11月）は題名で自らを「教師なしの視覚表現学習」と呼んでいる。対照学習を辞書の検索と見て、待ち行列と、移動平均で更新する符号化器で大きな辞書を作った。物体の検出や領域の切り分けの7つの課題で、教師ありの事前学習を上回れたと報告している。

SimCLR（2020年2月）は、学んだ表現の上で線形の分類器を学ばせると、ImageNet で top-1 の正解率が76.5%になり、教師ありで学んだ ResNet-50 と並んだ。ラベルの1%だけでファインチューニングしたときは top-5 の正解率が85.8%で、100分の1のラベルで AlexNet を上回った。

wav2vec 2.0（2020年6月）は、音声の書き起こしのデータセット Librispeech で、文字付きの音声を1時間に減らしても、100時間分を使ったそれまでの最高の結果を上回った。文字付きの音声が10分でも、ラベルのない5万3,000時間の音声で事前学習すると、単語の誤り率（WER）は clean と other の2つのテストセットで4.8と8.2だった。

MAE（2021年11月）は ImageNet-1K のデータだけを使う方法の中で、ViT-Huge というモデルで最も高い87.8%の正解率を出した。ほかの課題に移したときの性能は、教師ありの事前学習を上回ったとしている。

5本はどれも、ラベルのないデータで事前学習したあとで、少ないラベルや別の課題で結果を確かめている。wav2vec 2.0 の論文は、少ないラベル付きのデータで音声認識ができることを示したとまとめている。

自己教師あり学習と教師あり学習・教師なし学習の違い

Google の用語集は、自己教師ありトレーニングを半教師あり学習のアプローチの1つとしている。半教師あり学習は、ラベルを得る費用が高く、ラベルのない例が多くあるときに役立つと同じ用語集は書く。同じ用語集は、半教師あり学習の手法に挙げるセルフトレーニングを、自己教師あり学習の一種とも書いている。呼び方は出典によって違う。OpenAI は2018年6月の発表「Improving language understanding with unsupervised learning」で、言語モデリングを学習の信号にした事前学習を「教師なし」と呼んだ。BERT の論文も事前学習の2つの課題を「教師なしの課題」と呼び、MoCo の論文は「教師なし」を題名に使っている。

仕事でどう関係するか

AI のモデルの説明で「事前学習」を読むとき

Llama 2 の論文では、事前学習は2兆トークンのデータで行い、そのあとの調整のデータには、人がラベルを付けた100万件を超える新しい例が入っている。事前学習のデータと、人がラベルを付けた調整のデータを分けて読むと、人の手がどの段階にかかっているかをつかみやすい。

少ないラベルで社内向けのモデルを作れるか考えるとき

事前学習したモデルを別の課題に移して使う方法は転移学習と呼ぶ。Google の講座は、エンジニアが基盤の LLM を数百か数千の学習用の例でファインチューニングできる場合があると書いている。どれだけラベルを用意するかを相談するときは、次のように頼める。

社内の問い合わせメールを「請求」「解約」「不具合」の3つに分けたい。
ラベル付きのメールは300件、ラベルのないメールは5万件ある。
事前学習済みのモデルを使う場合と使わない場合で、用意すべきラベルの数と、精度を確かめる手順を比べて説明してください。

論文や製品の説明で呼び方が違うとき

同じ種類の方法でも、OpenAI の2018年6月の発表、BERT と MoCo の論文は「教師なし」と呼び、SimCLR、wav2vec 2.0、MAE の論文は要旨や題名で「自己教師あり」と呼ぶ。SimCLR の論文は本文で「教師なし」も使っていて、1本の論文の中で両方が出てくることもある。言葉の違いより、何を正解にして学ばせたかを見ると比べやすい。

注意点と限界

ラベルが不要になるわけではない。wav2vec 2.0 は文字付きの音声でファインチューニングし、SimCLR はラベルの1%でファインチューニングした結果を報告している。人が付けるラベル（アノテーション）は、事前学習のあとの調整と評価で使われている。

作った問題と実際の使い方がずれることもある。BERT の論文は、事前学習で使う [MASK] の記号がファインチューニングでは出てこないため、両者の間にずれが生じることを欠点に挙げ、隠す語の一部を別の語やそのままの語にして和らげた。

論文の数字はそれぞれの論文のデータと条件での結果だ。

よくある質問

関連する用語

• 教師あり学習：正解のラベルを組にした例から学ぶ方式
• 教師なし学習：ラベルのないデータからパターンを見つける方式
• 転移学習：ある課題で学んだ知識を別の課題に移して使う方法
• 基盤モデル：幅広いデータで学習し、多くの作業に合わせて使えるモデル
• アノテーション：学ばせるデータに正解のラベルを付ける作業
• エンベディング：文章や画像の意味を数字の並びで表したもの
• LLM（大規模言語モデル）：文章の続きにくるトークンを予測して文章をつくる AI のモデル
• 研究記事：BERT、SimCLR、MoCo、wav2vec 2.0、MAE