ディープラーニングとは?意味・仕組みと関連論文、機械学習との違い(2026年10月時点)
ディープラーニング
深層学習 / Deep Learning / ディープニューラルネットワーク
ディープラーニング(深層学習)とは、層を何段も重ねたニューラルネットワークで、データの表し方を学ぶ機械学習の方法のこと。誤差逆伝播法で、各層のパラメータを調整して学習する。
要するに
- 隠れ層を2つ以上持つニューラルネットワークで、データの表し方を何段も学ぶ
- 誤差逆伝播法と勾配降下法で、重みとバイアスを少しずつ直して学習する
- TRAIL が解説した論文は画像、音声、1,750億パラメータの言語モデルを扱う
最終確認

原論文と関連研究
- Batch Normalization 論文の解説:ミニバッチで学習を安定させるBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
- U-Net 論文の解説:少数の顕微鏡画像から輪郭を学ぶU-Net: Convolutional Networks for Biomedical Image Segmentation
- ResNetの原論文を読む 深くしても学べる画像認識へDeep Residual Learning for Image Recognition
- WaveNet 論文の解説:波形を一サンプルずつ作る音声生成WaveNet: A Generative Model for Raw Audio
- Attention Is All You Need 論文の解説:Transformerの提案Attention Is All You Need
- Scaling Laws 論文の解説:言語モデルの大きさと学習量の関係Scaling Laws for Neural Language Models
- GPT-3の少数例学習は何を示したか 2020年の原論文を読むLanguage Models are Few-Shot Learners
目次8
ひとことで言うと
ディープラーニング(深層学習)は、層を何段も重ねたニューラルネットワーク(データの中の規則を見つけるための計算の網)を使う機械学習の方法だ。2015年に Nature に載った LeCun、Bengio、Hinton の論文「Deep learning」は、層を重ねたモデルが、抽象度の異なる何段ものデータの表し方を学べるようにする方法だと説明している。
Google の機械学習の用語集は入力と出力の間にある隠れ層を2つ以上持つニューラルネットワークを「deep model(ディープモデル)」と呼ぶ。たとえば写真に何が写っているかを当てるモデルでは、前の層が出した結果をもとに、次の層が新しい表し方を計算する。これを何段も重ねて、最後の層が答えを出す。
仕組み
Google の用語集と Nature の論文の説明をもとに、学習の流れを数式なしで書くと次のようになる。
- 入力層が画像や文章などのデータを数値として受け取る。
- 隠れ層(入力層と出力層の間にある層)が、前の層の結果から新しい表し方を計算する。各層はニューロン(計算の単位)の集まりだ。
- 出力層が予測を出す。正解のラベルがある学習では、予測が正解からどれだけ外れたかを「損失」として測る。
- 誤差逆伝播法(バックプロパゲーション)が、損失を小さくするには内部のパラメータ(重みとバイアス。学習で調整する数値)をどう変えればよいかを示す。
- 勾配降下法が重みとバイアスを少しずつ直す。これをくり返して、損失が小さくなる組み合わせを探す。
Nature の論文は、ディープラーニングがこの誤差逆伝播法を使って、大きなデータの中の込み入った構造を見つけると書いている。Google の講座は、ニューラルネットワークがデータの中の直線では表せない規則を自動で見つけるので、特徴の組み合わせを手で試す作業が要らなくなると説明している。
表で見る最新の状況
上の「原論文と関連研究」は、TRAIL の研究記事から、ディープラーニングを使った論文7本を、発表の古い順に選んで並べたものだ。確認日は2026年10月24日。
- Batch Normalization(2015年2月):学習の途中で各層の入力の分布が変わることを「internal covariate shift」と呼び、これに対処する方法を提案した。画像分類のモデルで、同じ精度に14分の1の学習ステップで達したと書いている。
- U-Net(2015年5月):医療画像の領域を切り分けるネットワーク。少ない学習データを、データの水増し(拡張)で補った。当時の GPU で、512×512の画像を1秒未満で処理した。
- ResNet(2015年12月):「深いニューラルネットワークほど学習が難しい」という問題に、層の入力を基準にした差分(残差)を学ばせる形で取り組んだ。ImageNet で最大152層のネットワークを評価し、その組み合わせ(アンサンブル)が ImageNet のテストで3.57%の誤り率を記録した。
- WaveNet(2016年9月):音声の波形をそのまま生成するディープニューラルネットワーク。英語と中国語(Mandarin)の音声合成で、人の聞き手は、従来の2種類の方式(パラメトリック方式と波形接続方式)の最良のものより、かなり自然だと評価した。
- Attention Is All You Need(2017年6月):再帰型や畳み込み型のネットワークを使わず、Attention(注意機構)だけで組んだ Transformer を提案した。
- Scaling Laws(2020年1月):言語モデルの損失がモデルの大きさ、データの量、学習に使う計算量に対して、べき乗の法則に沿って下がると報告した。
- GPT-3(2020年5月):1,750億のパラメータを持つ言語モデル。論文は、それまでのどの疎でない言語モデルよりも10倍多いと書いている。
表より前の2012年には、Krizhevsky、Sutskever、Hinton の論文が、130万枚の画像を1,000種類に分ける深い畳み込みニューラルネットワークを学習させた(NIPS 2012 の論文集に収録)。このモデルのパラメータは6,000万で、学習を速くするために GPU(画像処理用の半導体)を使った。Nature の論文は参考文献の注で、この報告が物体認識の誤り率をほぼ半分にした突破口だったと書いている。
TRAIL が選んだ7本を発表順に並べると、2015年の3本は画像、2016年の WaveNet は音声、2017年以降の3本は文章を扱っている。2012年の画像のモデルは6,000万、2020年の GPT-3 は1,750億のパラメータだった。
ディープラーニングと機械学習の違い
| 機械学習 | ニューラルネットワーク | ディープラーニング | |
|---|---|---|---|
| Google の用語集の定義 | 入力データからモデルを学習させるプログラムやシステム | 隠れ層を1つ以上持つモデル | 隠れ層を2つ以上持つニューラルネットワーク(deep model) |
| 範囲(上の定義から言えること) | 3つの中でいちばん広い | 機械学習のモデルの一種 | ニューラルネットワークのうち、層が深いもの |
| データの表し方 | どの特徴が役立つかを決め、元のデータを特徴に変換する工程(特徴量エンジニアリング)がある | 直線では表せない規則を自動で見つける | 層を重ね、抽象度の異なる何段もの表し方を学ぶ |
Google の用語集の定義をつなぐと、ディープラーニングは機械学習に含まれる。機械学習はモデルを学習させる仕組みで、ニューラルネットワークはモデルの一種、deep model はニューラルネットワークの一種と定義されているからだ。隠れ層が1つだけのニューラルネットワークは deep model に当たらないので、機械学習のすべてがディープラーニングではない。Nature の論文は、ディープラーニングが音声認識、画像の物体認識、物体検出のほか、創薬やゲノム解析でも最高水準を大きく引き上げたと書いている。
仕事でどう関係するか
画像や音声の AI を自社のデータで作るかを決めるとき
U-Net の論文は冒頭で、深いネットワークの学習には数千の注釈付きの学習データが必要だという見方が広く共有されていると書いている。そのうえで、少ないデータをデータの拡張で補う方法を示した。自社の画像で学習させる計画なら、正解の付いたデータがどれだけ用意できるかが判断材料の1つになる。
社内のデータを学習に使うとき
DP-SGD の論文は、モデルの学習には大きく代表的なデータが必要で、そこには機微な情報が含まれうると書いている。そして、モデルがそのデータの中の非公開の情報を表に出してはならないとした。顧客情報や社内文書で学習させるなら、学習後のモデルから元のデータが読み取れないかが、導入前の確認事項になる。
「モデルが大きい」という説明を読むとき
Scaling Laws の論文は、モデルの大きさ、データの量、計算量を増やすと、損失がべき乗の法則に沿って下がると報告した。大きいモデルほど少ないデータで効率よく学べるとも書いている。ただし、この論文が測ったのは言語モデルの損失で、業務での使いやすさではない。
AI の提供元に確認するときは、次のように聞くと判断がしやすい。
このモデルを自社の画像で追加学習させる場合、正解ラベル付きのデータは何件あれば試せますか。
学習に使ったデータが、学習後のモデルから読み取れないようにする対策はありますか。注意点と限界
層を増やせば学びやすくなるわけではない。ResNet の論文は、深いネットワークほど学習が難しいことを出発点にしている。Batch Normalization の論文も、学習中に各層の入力の分布が変わることが深いネットワークの学習を難しくすると書いている。
論文の誤り率などの数字は、ImageNet などの決まったデータで測った結果で、自社のデータで同じ精度が出ることを示すものではない。
学習には正解付きのデータが多く要る場合がある。U-Net の論文は、数千の注釈付きの学習データが必要だという見方を紹介している。また、学習データに機微な情報が入っていると、モデルから漏れるおそれがある。DP-SGD の論文はこの問題に取り組んだものだ。
よくある質問
ディープラーニングとは何か、簡単に言うと
層を何段も重ねたニューラルネットワークで、データの表し方を学ぶ機械学習の方法だ。Google の用語集は、隠れ層を2つ以上持つニューラルネットワークを deep model と呼ぶ。2015年の Nature の論文「Deep learning」が、この方法を説明している。
ディープラーニングと機械学習の違いは何か
Google の用語集の定義をつなぐと、ディープラーニングは機械学習に含まれる方法の1つになる。用語集は、機械学習を入力データからモデルを学習させる仕組みと定義している。deep model は、そのうち隠れ層が2つ以上のニューラルネットワークを指す。
なぜ「深層」と呼ぶのか
入力と出力の間にある隠れ層を何段も重ねるからだ。Google の用語集は、隠れ層が2つ以上あるニューラルネットワークを deep model と定義している。
生成AIや LLM とはどう関係するのか
Google の講座は、LLM(大規模言語モデル)もニューラルネットワークだと説明している。そして、LLM をつくる構造として最も成功し広く使われているのが Transformer だと書いている。Transformer は、2017年6月の論文「Attention Is All You Need」が提案した構造だ。生成AIで使われる各社の最新モデルが、どの構造で作られているかは、この記事では確かめていない。
ディープラーニングはいつから広まったのか
2012年に、深い畳み込みニューラルネットワークで画像を分類した論文が出た。Nature の論文はこれを、物体認識の誤り率をほぼ半分にした突破口と注記している。2015年には Nature にディープラーニングの総説が載った。
関連する用語
- Transformer:Attention を中心に組んだ、いまの言語モデルで広く使われる構造
- LLM(大規模言語モデル):大量の文章で学習して文章をつくるモデル
- 生成AI:文章や画像などを新しく作り出す AI
- 拡散モデル:ノイズを取り除くことを学んで画像や動画をつくるモデル
- ファインチューニング:学習済みのモデルを用途に合わせて追加で学習させること
- 研究記事:ResNet、Batch Normalization、DP-SGD
出典
- Deep learning(Nature 521, 436–444)Yann LeCun、Yoshua Bengio、Geoffrey Hinton
- Machine Learning GlossaryGoogle
- Neural networksGoogle
- LLM: 大規模言語モデルとは何でしょうか。Google
- ImageNet Classification with Deep Convolutional Neural Networks(NIPS 2012)Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift(arXiv:1502.03167)arXiv
- U-Net: Convolutional Networks for Biomedical Image Segmentation(arXiv:1505.04597)arXiv
- Deep Residual Learning for Image Recognition(arXiv:1512.03385)Kaiming He ほか
- Deep Learning with Differential Privacy(arXiv:1607.00133)arXiv
- WaveNet: A Generative Model for Raw Audio(arXiv:1609.03499)arXiv
- Attention Is All You Need(arXiv:1706.03762)Ashish Vaswani ほか
- Scaling Laws for Neural Language Models(arXiv:2001.08361)Jared Kaplan ほか
- Language Models are Few-Shot Learners(arXiv:2005.14165)Tom B. Brown ほか
- 公開
- 執筆
- TRAIL編集部(編集方針)