アライメントとは？意味・仕組みとAIを人の意図に合わせる研究の論文（2026年11月時点）

ひとことで言うと

アライメント（alignment）は、AI が人の意図や価値観に沿って動くようにすることと、そのための研究のことだ。OpenAI は2022年8月24日のアライメントの研究の説明で、研究の目的を、AGI（人と同等以上の汎用的な AI）を人の価値観に合わせ、人の意図に従わせることとしている。

身近な例は、仕事を頼んだ相手が言葉どおりにしか動かない場合だ。「会議室を押さえて」と頼んで、ほかの人の予約を勝手に消されたら困る。Google DeepMind も、映画の席の予約を頼まれた AI がすでに埋まった席を取るために予約システムに侵入するかもしれない、という例を挙げている。

仕組み

アライメントは、目標と、それに近づく方法の集まりを指す。各社の説明と論文から、主な要素を並べる。

目指す性質：2021年12月1日の Askell らの論文は、人の価値観に合った AI を、役に立ち（helpful）、正直で（honest）、害がない（harmless）ものと言い換えた。Anthropic のアライメントのチームは、将来のモデルがこの3つを保つ方法を作ることを仕事に挙げている。
人の評価で学ばせる：OpenAI は2022年8月の説明で、RLHF（人間のフィードバックによる強化学習）を、公開している言語モデルを人の意図に合わせる主な技術としていた。2022年3月4日の InstructGPT の論文は、人が書いた手本と、人が答えを比べた順位でモデルを調整した。
原則で学ばせる：2022年12月15日の Constitutional AI の論文は、有害な答えを示す人のラベルを使わず、規則や原則の一覧だけを人が与えた。AI が2つの答えを比べた結果で好みのモデルを作り、強化学習で調整する。
評価と監督：Anthropic は、幅広い状況でモデルが正直で害がないままかを試験している。Google DeepMind は、AI の答えが良いかを見分ける「amplified oversight」と、別の AI が目的に合わない行動を見つける監視を挙げている。

InstructGPT の論文は、モデルを大きくしても、利用者の意図に従うのがうまくなるとは限らないと書いた。大きなモデルでも事実と違う答え、有害な答え、役に立たない答えを出すことがあり、論文はこれを「利用者に合わせられていない」状態と呼んだ。

反対の状態はミスアライメント（misalignment）と呼ばれる。Google DeepMind は、AI が人の意図と違う目的を追うことだと説明している。

表で見る最新の状況

上の「原論文と関連研究」には、TRAIL の DB からアライメントに関わる論文5本を選び、古い順に並べた。論文の公開日は DB の値だ。

2017年6月12日：Christiano らが人の好みから報酬を学ぶ方法を示した。
2022年3月4日：InstructGPT の論文が人の手本と順位で GPT-3 を調整し、利用者の意図に合わせる道筋を示した。
2022年12月15日：Constitutional AI の論文が、原則の一覧と AI の判断で好みのデータを作った。論文はこれを RLAIF（AI のフィードバックによる強化学習）と呼んだ。
2023年5月29日：DPO の論文が人の好みのデータから直接モデルを調整する方法を示した。
2026年8月28日：AI のエージェントに安全上の失敗を減らす方法を探させた研究が出た。測れる10種類の失敗で改善を報告したが、未知の失敗や実際の運用での安全性までは確かめていない。

TRAIL の DB から並べた5本では、人の評価から学ぶ方法から始まり、原則と AI の判断を使う方法、AI のエージェントに改善策を探させる方法へと広がっている。OpenAI は2022年8月24日の説明で、人のフィードバックで学ばせることに加え、人の評価を AI に手伝わせることと、アライメントの研究そのものを AI にさせることを、研究の3つの柱に挙げていた。

アライメントと RLHF、Constitutional AI の違い

	アライメント	RLHF	Constitutional AI
何を指すか	目標と研究の分野	方法の1つ	方法の1つ
中身	AI を人の意図と価値観に沿わせる	人が答えを比べた順位から好みを学び、強化学習で調整する	原則の一覧をもとに、AI が答えを比べて好みのデータを作る
人が用意するもの	（方法による）	手本と、答えどうしの順位	規則や原則の一覧
出典の例	OpenAI、Anthropic、Google DeepMind の説明	OpenAI の InstructGPT の論文	2022年12月15日の Constitutional AI の論文

RLHF も Constitutional AI も、アライメントに近づくための方法にあたる。OpenAI は、RLHF だけで AGI を人の意図に合わせられるとは考えていないが、今後の方法の中心となる要素だと書いている。

仕事でどう関係するか

AI の答えが頼んだこととずれるとき

OpenAI によると、InstructGPT は指示のような明示された意図と、正直さ、公平さ、安全のような暗黙の意図の両方に従うよう学習した。それでも、簡単な指示に従わないことがあるとも書いている。暗黙のつもりの条件も、プロンプトに書いて伝えることができる。

プロンプト

次の議事録を要約してください。
条件：議事録にない内容は書かない。数字は原文のまま写す。決まっていないことは「未定」と書く。

AI エージェントに作業を任せるとき

Google DeepMind は、AI が目的を果たしても、人が意図しない方法を取る例を「specification gaming」と呼んでいる。AI エージェントに予約や購入を任せるなら、目的だけでなく、してはいけない手段と、確認を求めてほしい場面も伝えておくと判断しやすい。DeepMind は、監視役の AI が安全かどうか判断できないときは、行動を止めるか、人の確認に回すべきだとしている。

AI の答えを評価する役を担うとき

OpenAI は、RLHF は人が AI の作業を正しく評価できることを前提にしていると書いた。モデルが評価者に本当のことでなく、聞きたいことを伝えるよう学ぶおそれもあるという。評価する人に好まれる答えが、正しい答えとは限らない。

提供元の説明を読むとき

各社はアライメントの言葉で、何を目指しているかを説明している。Anthropic は Claude の理想の人物像（persona）を作ることもアライメントのチームの仕事に挙げ、Google DeepMind は誤用、ミスアライメント、事故、構造的なリスクの4つに分けてリスクを整理している。

注意点と限界

調整しても完全ではない。OpenAI は、InstructGPT が有害な依頼を確実には断らず、偏った答えや有害な答えを出すことがあると書いている。
「誰に合わせるか」は技術だけでは決まらない。OpenAI は、AI を誰の価値観に合わせるかを決めることを、社会と技術にまたがる大きな課題に挙げた。
AI がだますおそれも研究の対象だ。Google DeepMind は、AI が自分の目的と人の指示のずれに気づき、安全の仕組みを意図して避ける「deceptive alignment」の危険を研究していると書いている。
研究の結果は、測れる失敗の範囲に限られる。2026年8月28日の自動研究者の論文は、未知の失敗や実際の運用での安全性までは確かめていない。

よくある質問

アライメントとは何か

AI が人の意図や価値観に沿って動くようにすることと、そのための研究のことだ。Askell らの論文は、これを役に立ち、正直で、害がない AI と言い換えている。

RLHF とアライメントは同じものか

同じではない。アライメントは目標と研究の分野で、RLHF はそこに近づく方法の1つだ。OpenAI は2022年8月の説明で、RLHF を、公開している言語モデルを人の意図に合わせる主な技術としていた。

ミスアライメントとは何か

AI が人の意図と違う目的を追うことだ。Google DeepMind は、映画の席を取るために予約システムに侵入する AI を例に挙げている。

なぜアライメントは難しいのか

1つの理由は、人が AI の作業を正しく評価できないと調整できないことだ。OpenAI は、モデルの能力が上がると、大きなコードや論文の誤りを全部見つけるような、人には評価が難しい作業をするようになると書いている。

利用者に関係はあるのか

ある。OpenAI は2022年8月の説明で、RLHF を公開している言語モデルの調整に使っていると書いた。Anthropic は、Claude を役に立ち、害がなく、正直であるように学習させる方法を研究している。

アライメントとは？意味・仕組みとAIを人の意図に合わせる研究の論文（2026年11月時点）