転移学習とは？意味・仕組みと言語に広げた論文4本（2026年11月時点）

ひとことで言うと

転移学習（Transfer learning）は、ある課題で学んだモデルの知識を、別の課題に移して使う機械学習の方法だ。Google の機械学習の用語集は、ある機械学習のタスクから別のタスクに情報を移すことと説明している。データの多いタスクからデータの少ないタスクに知識を移すこともある。

Keras のガイドは、アライグマを見分けるように学んだモデルの特徴が、タヌキを見分けるモデルを作り始めるときに役立つ、という例を挙げている。同じガイドは、転移学習はふつう、手元のデータが少なく、大きなモデルを一から学習できない課題で使うと書いている。

仕組み

Keras のガイドは、ディープラーニングでの転移学習のいちばんよくある流れを次のようにまとめている。

1. 学習済みのモデルから層を取り出す。
2. 取り出した層を凍結する（学習のあいだ重みを更新しないようにする）。層が持つ情報を、このあとの学習で壊さないためだ。
3. 凍結した層の上に、学習できる新しい層を足す。新しい層は、古い特徴を新しいデータでの予測に変えることを学ぶ。
4. 自分のデータで新しい層を学習させる。
5. 必要なら最後にファインチューニングをする。モデルの全体か一部の凍結を解き、とても小さい学習率で新しいデータに合わせて学び直す。

1〜4で終える使い方を、TensorFlow のチュートリアルは「特徴抽出」と呼ぶ。前のネットワークが学んだ表現で新しい画像から特徴を取り出し、その上に新しく学習させる分類器を足すだけで済む。5まで進む使い方が「ファインチューニング」だ。凍結した元のモデルの上のほうの層をいくつか解き、足した分類器と一緒に学習させる。

上の層だけを学び直すのには理由がある。チュートリアルによると、多くの畳み込みネットワークでは、最初の数層はほとんどすべての画像に当てはまる単純な特徴を学び、上の層ほど学習に使ったデータに固有の特徴になる。スタンフォード大学の講座 CS231n も、前の層はエッジや色のかたまりを見つけるような一般的な特徴を持ち、後ろの層ほど元のデータのクラスの細部に向かうと説明している。

表で見る最新の状況

上の「転移学習を言語に広げた論文4本」は、TRAIL の研究記事から、言語の分野で事前学習したモデルを別の課題に移す方法を扱った論文を4本選び、古い順に並べたものだ。論文の中身は2026年11月6日に arXiv の論文のページで確かめた。

転移学習は画像の分野で先に広まった。2013年10月の DeCAF の論文は、物体認識で学ばせたネットワークの活性（各層の出力）を取り出し、場面の認識など別の課題に使えるかを調べた。T5 の論文は、画像の分野ではふつう ImageNet のようなラベル付きの大きなデータで教師あり学習をして事前学習すると書いている。TensorFlow のチュートリアルによると、ImageNet は140万枚の画像と1000クラスからなるデータだ。

ULMFiT（2018年1月）の論文は、転移学習は画像の分野に大きな影響を与えたが、言語の分野ではまだ課題ごとの変更と一からの学習が必要だと書いた。そのうえで、どの言語の課題にも使える転移学習の方法として ULMFiT を出した。文章を分類する課題で、正解のラベルを付けた例が100件だけでも、100倍のデータで一から学習した場合と同じ性能になったと報告している。

ELMo（2018年2月）とBERT（2018年10月）は、学んだものの移し方が違う。BERT の論文は、事前学習した言語の表現を使う方法を2つに分けている。ELMo のような「特徴ベース」は、課題ごとの構造に、事前学習した表現を追加の特徴として入れる。GPT のような「ファインチューニング」は、課題ごとに足す部分を最小限にし、事前学習したパラメーターをすべて学び直す。BERT はあとの方法を取り、出力の層を1つ足すだけで、質問応答など幅広い課題に合わせられるとした。

T5（2019年10月）の題名は「統一したテキスト・トゥ・テキストの Transformer で転移学習の限界を探る」だ。論文は、データの多い課題でまず事前学習し、その後で目的の課題に合わせてファインチューニングする転移学習が、言語の分野で強力な方法になったと書く。事前学習の目的、モデルの構造、ラベルのないデータ、移し方などを数十の課題で比べた。

T5 の論文によると、画像の分野ではふつうラベル付きのデータで事前学習し、言語の分野ではラベルのない文章で事前学習することが多い。T5 の論文はその理由に、ラベルのない文章がインターネットで大量に手に入ることを挙げている。

転移学習とファインチューニング、特徴抽出の違い

ファインチューニングは転移学習の進め方の1つだ。提供元の API で LLM を調整する手順と現状は、ファインチューニングの用語のページにある。

向く場面の欄は、TensorFlow のチュートリアルのまとめに沿っている。BERT の論文は、特徴ベースの方法にも利点があると書く。課題によっては専用の構造を足す必要があることと、重い表現を一度だけ計算しておけば、その上で軽いモデルの実験を何度も回せることだ。

基盤モデルとも関係が深い。基盤モデルを名付けたスタンフォード大学の研究者の報告書は、基盤モデルを可能にしたのは転移学習で、強くしたのは規模だと書いている。深層学習では事前学習が転移学習の主な方法で、代わりの課題で学ばせたモデルを、ファインチューニングで目的の課題に合わせると説明している。

仕事でどう関係するか

社内の画像を少ない枚数で分類したいとき

TensorFlow のチュートリアルは、ImageNet で事前学習した MobileNet V2 を使い、学習用の2000枚の画像で猫と犬を見分けるモデルを作る。元のモデルを凍結し、上に足した層だけを学ばせる特徴抽出では、10エポック（学習データを10周すること）の学習で検証用データの精度がおよそ96%になるとしている（英語版の原文は「~96%」で、日本語版は「最大 96%」と訳している）。上の層をファインチューニングすると、ほぼ98%に達するという。数字はこのチュートリアルのデータでの結果だ。チュートリアルの手順に沿えば、製品の写真を分類するような社内の課題でも、まず特徴抽出で試し、そのあとでファインチューニングを足す順番が取れる。

自社の製品写真（約2000枚、5種類）を種類ごとに分類するモデルを作りたい。
画像で事前学習したモデルを使う転移学習で、特徴抽出とファインチューニングのどちらから試すべきか、
手順と、それぞれで確かめる数字を説明してください。

元のデータと自社のデータが似ているかを考えるとき

CS231n は、どの進め方を選ぶかで大事なのは、新しいデータの量と、元のデータとの似かたの2つだと書いている。新しいデータが少なく元に似ているなら、取り出した特徴で線形の分類器を学ばせるのがよいかもしれないとする。少なくて元と大きく違うなら、より前の層の出力から分類器を学ばせるほうがよいかもしれない。違う例として、講座は顕微鏡の画像を挙げている。

LLM を自社用に調整するかを決めるとき

BERT の論文によると、ファインチューニングは事前学習に比べて費用が小さい。論文の結果は、同じ事前学習済みモデルから、1つの Cloud TPU で長くても1時間、GPU で数時間で再現できる。事前学習は BERT LARGE で16個の Cloud TPU を使い、4日かかった。重みを固定したまま小さな行列だけを学ばせる LoRA も、学習済みのモデルを特定の仕事に合わせる方法だ。

注意点と限界

元の課題と目的の課題が離れていると、転移学習は効きにくい。2014年11月の論文「深層ニューラルネットワークの特徴はどれくらい移せるか」は、元の課題と目的の課題の距離が大きくなるほど、特徴の移しやすさが下がると報告した。ただし、遠い課題から移した特徴でも、ランダムな特徴から始めるよりよい場合があったとも書いている。

関係の薄い元のデータから知識を移すと、目的の課題の性能がかえって下がることがある。これを「負の転移」と呼ぶ。2018年11月の論文「負の転移の特徴づけと回避」は、負の転移はよく起きるのに、厳密な定義がないまま語られてきたと書く。論文は、関係のない元のデータを取り除いて負の転移を避ける方法を出した。

ファインチューニングの進め方を誤ると、事前学習で学んだことが失われる。TensorFlow のチュートリアルは、ランダムな重みの分類器を足してすぐに全部の層を一緒に学習させると、更新が大きすぎて、事前学習したモデルが学んだことを忘れると注意している。先に分類器を学ばせ、低い学習率を使う必要がある。学習率が高いと、モデルがすぐに過学習を起こすおそれがある。

CS231n は、学習済みのモデルを使うと、新しいデータに使えるモデルの構造が少し制約されるとも書いている。たとえば学習済みのネットワークから畳み込みの層を自由に抜くことはできない。

よくある質問

関連する用語

• ファインチューニング：学習済みのモデルに、自分の用途の例を追加で学ばせる方法
• 基盤モデル：幅広いデータで学び、多くの作業に合わせて使えるモデル
• LoRA：重みを固定したまま、小さな行列だけを学ばせて調整する方法
• 教師あり学習：正解のラベルを組にした例から学ぶ方式
• ディープラーニング：層を何段も重ねたニューラルネットワークで学ぶ機械学習の方法
• Transformer：BERT や T5 が使う、Attention を中心に組んだモデルの構造
• Few-shot プロンプト：作業の入力と答えの例をプロンプトに入れ、その形式をまねて答えさせる書き方
• 研究記事：ULMFiT、BERT、T5