オートエンコーダとは？意味・仕組みと主な論文（2026年11月時点）

ひとことで言うと

オートエンコーダ（Autoencoder、自己符号化器）は、入力をそのまま出力に写すように学習するニューラルネットワークだ。中では入力を小さな表現（潜在表現）に縮める符号化器（エンコーダ）と、そこから元の形に戻す復号化器（デコーダ）を組み合わせる。

TensorFlow のチュートリアルは、手書きの数字の画像を例に挙げている。画像をいったん低い次元の潜在表現に縮め、その潜在表現から画像に戻す。

仕組み

Ian Goodfellow らの教科書『Deep Learning』の第14章と、TensorFlow のチュートリアルの説明をまとめると、次のようになる。

1. 符号化器が入力を潜在表現に変える。チュートリアルの最初の例では、衣料品の画像を集めた Fashion MNIST の28×28画素（784次元）の画像を、64次元の潜在ベクトルに縮める。
2. 復号化器が潜在表現から入力を組み立て直す。この出力を再構成と呼ぶ。
3. 元の入力と再構成のずれ（再構成誤差。平均二乗誤差などで測る）が小さくなるように、両方をまとめて学習する。チュートリアルでは同じ画像を入力と目標の両方に使う。

教科書は、入力をそのまま写せるようになるだけでは役に立たないと書いている。ふつうは近似的にしか写せないように制限をかけ、何を残すかをモデルに選ばせることで、データの有用な性質を学ばせる。制限の1つが、潜在表現の次元を入力より小さくすることだ。教科書によると、復号化器が線形で誤差が平均二乗誤差のとき、この形のオートエンコーダは主成分分析（PCA）と同じ部分空間を学ぶ。

表で見る最新の状況

上の表は、TRAIL が解説した論文のうち、オートエンコーダを使う4本を論文の公開の古い順に並べたものだ。確認日は2026年11月6日。

2019年10月29日の BART は、論文の要旨で自らを「denoising autoencoder」と呼ぶ。文章を壊し、元の文章に戻すことを学ばせて、文章の生成や理解に使うモデルを事前学習した。2021年11月11日の MAE（Masked Autoencoders）は、画像の区画の75%などを隠し、隠した画素を復元させる。符号化器は見えている区画だけを処理し、軽い復号化器が潜在表現から元の画像を組み立て直す。論文は学習が3倍以上速くなったと報告している。

2021年12月20日の Latent Diffusion は、画像を生成する拡散モデルを、学習済みのオートエンコーダの潜在空間で動かした。2022年12月19日の DiT は、Stable Diffusion の学習済みの VAE（変分オートエンコーダ）を使う。論文によると、256×256×3の画像は、VAE の符号化器で32×32×4の潜在表現になる。

TRAIL の表の4本では、オートエンコーダは文章と画像の事前学習（BART、MAE）と、画像生成の前段の圧縮（Latent Diffusion、DiT）の2つの役割で使われている。

オートエンコーダと VAE の違い

VAE（Variational Autoencoder、変分オートエンコーダ）は、Diederik Kingma と Max Welling が2013年12月20日に arXiv に出した論文で示された。論文は、データが観測されない連続の潜在変数から確率的に生まれると考え、その生成の過程を学ぶ方法を提案した。認識のモデルにニューラルネットワークを使うと、変分オートエンコーダになると書いている。

VAE の論文は、学習の目標の一部が、オートエンコーダの言葉では再構成誤差に当たると説明している。潜在変数を、ノイズを使った微分可能な変換で書き直す方法（再パラメータ化）によって、ふつうの確率的勾配法で学習できるようにした。教科書は、オートエンコーダと潜在変数モデルの理論的なつながりが見えたことで、オートエンコーダが生成モデルの研究の最前線に出たと書いている。

潜在表現は数字の並び（ベクトル）で、エンベディングと同じく、データを数字の並びで表す。オートエンコーダの潜在表現は元の入力に戻せるように学んだものだ。

仕事でどう関係するか

画像のノイズを取り除きたいとき

TensorFlow のチュートリアルの2つめの例は、Fashion MNIST の画像にランダムなノイズを足し、ノイズのある画像を入力に、元の画像を目標にしてオートエンコーダを学習させる。VAE の論文も、データの事前分布を使う推論の、コンピュータビジョンでのよくある応用として、画像のノイズ除去、欠けた部分の補完（インペインティング）、超解像を挙げている。

正常なデータから異常を見つけたいとき

チュートリアルの3つめの例は、5,000件の心電図（1件140点）のデータで異常なリズムを見つける。オートエンコーダを正常なリズムだけで学習させ、再構成誤差がしきい値を超えたものを異常とする。異常なリズムでは再構成誤差が大きくなるという仮説に立つ方法だ。チュートリアルは、ラベルのない大きなデータ（正常なリズムが数千件で異常が少数など）にも当てはめられる考え方として、この例を紹介している。チュートリアルはしきい値を変えると適合率と再現率を調整できると書いている。

画像生成AIの仕組みを読むとき

Latent Diffusion の論文は、学習を2段に分けた。まず、画像と知覚の上で同等で、次元の低い空間を作るオートエンコーダを学習させる。次に、その潜在空間で拡散モデルを学習させる。CompVis の Stable Diffusion のリポジトリは、Stable Diffusion がこの論文の研究の上に作られたと書き、v1 は縮小率8（画像の縦と横をそれぞれ8分の1にする）のオートエンコーダを使うと説明している。DiT の論文も、Stable Diffusion の VAE の縮小率を8としている。

AI の中身の研究を読むとき

Anthropic は2023年10月4日の研究で、Sparse Autoencoder（スパースオートエンコーダ）を使い、1層の Transformer から解釈しやすい特徴を多く取り出した。2024年5月21日の研究では、Claude 3 Sonnet の中間の層に、約100万、約400万、約3,400万の特徴を持つ3つの Sparse Autoencoder を学習させた。論文は Sparse Autoencoder を、疎な辞書学習（sparse dictionary learning）の手法の1つと位置づけている。TRAIL の説明可能なAIのページで触れた辞書学習の発表と、日付（2024年5月21日）も対象のモデルも同じ研究だ。

Sparse Autoencoder の符号化器は、入力を縮めず、より次元の高い層に写す。論文によると、再構成誤差に加えて、特徴の活性化に L1 正則化の罰則をかける。この罰則で、多くの入力に対して、働く特徴がごく一部になる。

注意点と限界

再構成ができるだけでは、役に立つ表現になるとは限らない。VAE の論文は、再構成の基準だけでは有用な表現を学ぶのに十分でないことはよく知られているとし、ノイズ除去（denoising）、contractive、スパース（sparse）の変形が提案されてきたと書いている。

異常検知のしきい値には決まった答えがない。TensorFlow のチュートリアルは平均より1標準偏差上をしきい値にしたが、ほかの方法もあり、適切な方法はデータによって違うと注意している。

圧縮した表現から戻す以上、細部の正確さには限りがある。Latent Diffusion の論文は、縮小率4のオートエンコーダでは画質の損失はごく小さいとしたうえで、画素単位の正確さが要る作業では再構成の力が限界になりうると書いている。

Sparse Autoencoder で見える特徴も、モデルの中身の一部にとどまる。Anthropic の2024年5月の論文は、すべての層のすべての特徴を取り出すには、元のモデルの学習に使った計算をはるかに超える計算が要るだろうと書いている。

よくある質問

関連する用語

• 用語：ニューラルネットワーク、ディープラーニング、教師なし学習、拡散モデル、GAN、エンベディング、説明可能なAI、画像生成AI
• 研究記事：Latent Diffusion、MAE、BART、DiT
• 比較：画像生成AIの比較