Transformerとは？意味・仕組みと関連論文、コンテキスト長（2026年10月時点）

ひとことで言うと

Transformer（トランスフォーマー）は、文の中のどの語に注目するかを計算する「Attention（アテンション、注意機構）」を中心に組んだ AI モデルの構造だ。2017年に Google の研究者らが論文「Attention Is All You Need」で提案した。Google の機械学習の解説は Transformer を、LLM（大規模言語モデル）をつくるうえで最も成功し、広く使われている構造と説明している。

たとえば「The animal didn't cross the street because it was too tired.」という文では、「it」が「animal」と「street」のどちらを指すかを決める必要がある。Google の解説では、Attention が「it」にとって「animal」のほうが重要だと計算する例を示している。

仕組み

原論文の Transformer は英語の文をドイツ語やフランス語に訳すためのモデルとして作られた。数式を使わずに流れを書くと、次のようになる。

1. 文をトークン（AI が文章を数える単位）に分け、それぞれを数値の並びに変える。Attention だけでは語の順番が分からないので、原論文は位置を表す情報（位置エンコーディング）を足している。
2. エンコーダ（入力の文を読み取る部分）が、Attention で文の中の語どうしの関係を計算する。各位置は文のすべての位置を参照できる。原論文のエンコーダは同じ層を6つ重ねている。
3. デコーダ（訳文をつくる部分）が、エンコーダの結果を参照しながら、訳文を1語ずつ出していく。そのとき、まだ出していない後ろの語は見えないようにしている。デコーダも6層だ。
4. Attention は1つの層の中で複数を並べて計算する。原論文はこれを「マルチヘッド注意」と呼び、8つを並列に動かした。

それまでの主流だった再帰型のネットワーク（RNN。文を前から1語ずつ順に処理する方式）は、前の語の計算が終わらないと次の語に進めない。原論文は、この順番待ちが学習の並列化を妨げると書いている。Transformer は順番待ちをなくし、学習のときに文のすべての位置を並列に計算できるようにした。

原論文によると、大きいモデルは英語からドイツ語への翻訳（WMT 2014）で28.4 BLEU（翻訳の一致度を測る指標）を記録し、それまでの最高を2以上上回った。学習にかかったのは、8基の NVIDIA P100 GPU で3.5日だ。

表で見る最新の状況

上の「原論文と関連研究」は、TRAIL の研究記事から、Transformer の原論文と、Transformer をもとにした論文5本を選んで並べたものだ。

• Attention Is All You Need（2017年6月）：Transformer の提案。エンコーダとデコーダの両方を使う。
• 初代 GPT（2018年6月）：BERT の論文によると、GPT は前の語だけを参照する Transformer を使う。
• BERT（2018年10月）：原論文の実装をもとにした、エンコーダだけの Transformer。語の前後の両方を参照する。
• T5（2019年10月）：原論文にほぼ沿ったエンコーダとデコーダの Transformer。
• GPT-3（2020年5月）：1,750億のパラメータ（学習で調整する数値）を持つモデル。Attention の一部を除き、GPT-2 と同じ構造を使う。
• Vision Transformer（2020年10月）：画像を小さな区画（パッチ）に分けて並べ、Transformer に入れる。

BERT の論文は、前後の両方を参照する Transformer を「Transformer エンコーダ」、前だけを参照するものを「Transformer デコーダ」と呼ぶことが多いと書いている。後者をデコーダと呼ぶ理由は、文章の生成に使えるからだ。

その下の「主要モデルのコンテキスト長」は、TRAIL が各社の公式ドキュメントから集めた19モデルのコンテキストウィンドウ（AI が一度に参照できる範囲）を長い順に並べたものだ。確認日は2026年10月12日から10月24日。

• 最も長いのは GPT-6.1 Sol など GPT-6 系の4モデルで、1,050,000トークン。
• Gemini 4 Argon などは1,048,576トークン、Claude Opus 5.5 など Claude の4モデルは1,000,000トークン。
• 最も短いのは Sakana Namazu の256,000トークンだ。

2020年の GPT-3 の論文では、すべてのモデルのコンテキストの長さは2,048トークンだった。TRAIL の表では、19モデルのうち15モデルが100万トークン前後の長さで並ぶ。

ただし、表のモデルがどの構造で作られているかは表に入っていない。TRAIL が確かめた Gemini 4 Argon、GPT-6 Sol の公式ページと Claude のモデル一覧には、Transformer を使っているとは書かれていなかった。

Transformer と RNN（再帰型ネットワーク）の違い

原論文は、文の長さが語を表す数値の並びの長さ（表現の次元）より短いときは、Attention の層のほうが再帰型の層より速いと書いている。

Transformer と LLM の関係も整理しておく。Transformer は構造の名前で、LLM は大量の文章で学習して文章をつくるモデルの種類の名前だ。Google は Transformer を、LLM の構築に最も成功した構造として説明している。

仕事でどう関係するか

長い資料を一度に読ませるかを決めるとき

原論文の表1では、Attention の層の計算量は文の長さの2乗に比例して増える。長い資料を丸ごと渡す使い方は、仕組みの上では計算が大きくなる使い方だ。原論文は、とても長い文を扱うときは、各位置の近くだけに Attention を絞る方法を今後の課題に挙げている。どれだけの長さを渡せるかは、モデルごとのコンテキスト長の表で確かめられる。

AI が「文脈を読んでいる」ように見える理由を説明するとき

Attention は、入力の中のほかの語が、ある語の意味にどれだけ関わるかを計算する。Google の解説は、代名詞「it」が何を指すかの例でこの計算を説明している。ただし、Google の解説は、LLM がハルシネーション（事実と違う内容を答えること）をよく起こすとも書いている。

モデルの説明に出てくる「エンコーダ」「デコーダ」を読むとき

Google の解説によると、文章を1語ずつ生成する用途には前の語だけを参照する Attention が必要で、文全体の表現をつくる用途には前後を参照する Attention が役立つ。BERT の論文は、エンコーダだけの型をファインチューニング（追加の学習）で質問応答や文の関係の判定に使った。モデルの資料でどちらの型かが分かれば、文章をつくる用途か、文を読み取る用途かの見当がつく。

注意点と限界

• 原論文の実験は、2014年の翻訳のデータと英語の構文解析だ。いまの AI 製品の品質や、日本語の業務での効果を測ったものではない。
• 学習は並列に進められる一方、デコーダは訳文を1語ずつ出す。原論文は生成を順番に頼らないものにすることを今後の課題に挙げている。
• 「注意だけ」という題名は、語順の情報まで要らなくしたという意味ではない。原論文は位置の情報を入力に足している。
• Attention の重みを見ると、モデルが文の構造に関わる働きをしているように見える例を原論文は示している。ただし、表したのは一部の例だ。
• いま使われている各社のモデルが Transformer をどう使っているかは、TRAIL が確かめた公式ページには書かれていない。

よくある質問

関連する用語

• LLM（大規模言語モデル）：文章をつくる AI のモデル。構造には Transformer が広く使われている
• コンテキストウィンドウ：モデルが一度に参照できる範囲
• 生成AI：文章や画像などを新しく作り出す AI
• ファインチューニング：学習済みのモデルを用途に合わせて追加で学習させること
• マルチモーダル：文章のほかに画像や音声も扱うこと
• 研究記事：Attention Is All You Need、BERT、GPT-3
• モデルの一覧と、ツール：ChatGPT、Claude、Gemini