RLHFとは？意味・仕組みと人の評価で調整する手法の論文（2026年11月時点）

ひとことで言うと

RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習）は、AI のモデルが出した複数の答えを人が比べて順位を付け、その好みに沿う答えを出すようにモデルを調整する方法だ。人の好みを学んだ別のモデルが点数を付け、その点数が上がるように強化学習でモデルを直していく。

身近な例は ChatGPT だ。OpenAI は2022年11月30日に ChatGPT を公開したとき、InstructGPT と同じ方法で RLHF を使って学習させたと説明した。

仕組み

OpenAI の InstructGPT の論文（2022年3月4日、TRAIL の解説）は、RLHF を3つの段階で行った。

手本で学ばせる：人が質問に対する望ましい答えを書き、その手本で GPT-3 を教師あり学習で調整する。教師あり学習は正解の付いた例から学ぶ方法だ。
好みを学ぶモデルを作る：調整したモデルに同じ質問への答えを複数出させ、人が良い順に並べる。この比べたデータで、人がどちらを好むかを予想する報酬モデル（答えに点数を付けるモデル）を学習する。
点数が上がるように直す：報酬モデルの点数を報酬にして、PPO という強化学習の方法でモデルを調整する。

論文はこの作業のために、選考の試験を通った40人の作業者を雇った。人の好みを報酬の合図に使う考え方は、2017年6月12日の Christiano らの論文（TRAIL の解説）にさかのぼる。この論文は、専門家でない人が2つの動きの断片のどちらが良いかを選ぶだけで、報酬の式がなくても Atari のゲームやシミュレーションのロボットの歩行の課題を解けたと報告した。人が答えたのは、AI と環境のやり取りの1%未満だった。

ChatGPT では、データの集め方が少し違う。OpenAI によると、AI トレーナーが利用者と AI アシスタントの両方の役で会話を作った。会話の中から選んだ答えについて別の答えを複数作らせ、トレーナーが順位を付けた。この比べたデータで報酬モデルを作り、PPO で調整する作業を数回くり返したという。

表で見る最新の状況

上の「原論文と関連研究」には、RLHF に関わる論文5本を古い順に並べた。論文の公開日は TRAIL の DB の値だ。

2017年6月12日：Christiano らが人の好みから報酬を学ぶ方法を示した。
2017年7月20日：Schulman らが PPO を発表した。InstructGPT と ChatGPT が3段階めで使った強化学習の方法だ。
2022年3月4日：InstructGPT の論文が RLHF を言語モデルに当てた。人の評価では、13億パラメーターの InstructGPT の答えが、1,750億パラメーターの GPT-3 の答えより好まれた。
2022年12月15日：Constitutional AI の論文が、有害な答えを見分ける人のラベルを使わず、原則の一覧と AI の判断で好みのデータを作った。論文はこれを RLAIF（AI のフィードバックによる強化学習）と呼んだ。
2023年5月29日：DPO の論文が報酬モデルと強化学習の2段階を、分類の損失だけで解く方法を示した。

並べた5本では、2017年の2本で人の好みから報酬を学ぶ方法と PPO が出て、2022年3月の InstructGPT で言語モデルに使われた。その後の2本は、人のラベルを減らす方法と手順を簡単にする方法で、どちらも RLHF の手間を減らす方向にある。

人の好みで調整する機能は、提供元のサービスにもある。Google の Gemini Enterprise Agent Platform は、人のフィードバックのデータで Gemini のモデルを調整するプリファレンスチューニングを用意している。ページは方法を「プリファレンス最適化アルゴリズム」と書き、RLHF とは呼んでいない。

RLHF と教師ありファインチューニング、DPO、RLAIF の違い

	教師ありファインチューニング	RLHF	DPO	RLAIF（Constitutional AI）
人が用意するもの	望ましい答えの手本	答えどうしを比べた順位	答えどうしを比べた好み	原則の一覧（役に立つかの比較は人が付けた）
好みを判断するもの	（使わない）	人の比較から学んだ報酬モデル	報酬モデルを別に作らない	AI が2つの答えを比べる
調整の方法	手本をまねるように学ぶ	強化学習（InstructGPT では PPO）	分類の損失で直接学ぶ	強化学習

ファインチューニングは学習済みのモデルを追加の学習で調整することで、RLHF もその一種にあたる。InstructGPT では教師ありファインチューニングをしたモデルを、RLHF でさらに調整した。

仕事でどう関係するか

AI の答え方のくせを読み解くとき

チャットボットの答えが長くなりがちなのは、学習の仕方と関わることがある。OpenAI は ChatGPT の公開時に、答えが冗長になり、同じ言い回しを使いすぎるのは、トレーナーが網羅的に見える長い答えを好んだ偏りと、過剰な最適化から生じると書いた。短い答えが要るときは、プロンプトで字数や形を指定するとよい。

プロンプト

次の質問に、結論を1文で先に書き、理由は箇条書き3つまでで答えてください。
前置きと、質問の言い直しは書かないでください。

自社の好みに合わせてモデルを調整したいとき

Google のプリファレンスチューニングでは、1つの質問に対する好ましい答えと好ましくない答えの組を用意する。モデルは好ましい答えを高い確率で、好ましくない答えを低い確率で出すように学ぶ。Google はまず好ましい答えで教師ありファインチューニングをしてから、プリファレンスチューニングを続けることを強く勧めている。

答えの比較や評価を任されたとき

RLHF の材料は、人が答えを比べた結果だ。InstructGPT の論文は、この方法がモデルを特定の人たち、主に作業者と研究者の好みに合わせるもので、広い意味での人の価値観に合わせるものではないと書いている。評価を誰がどんな基準でするかが、できあがるモデルの答え方を左右する。

注意点と限界

RLHF で調整しても、もっともらしい誤りはなくならない。OpenAI は ChatGPT の公開時に、もっともらしく聞こえても正しくない答えをすることがあると書いた。理由の1つに、強化学習の間に真実の情報源がないことを挙げている。

InstructGPT の論文も、簡単な誤りが残ると書いた。指示に従わない、事実をつくる、単純な質問に長くあいまいに答える、といった例だ。一方で、入力にない情報をつくるハルシネーションは減った。OpenAI の API に送られた依頼のうち、要約のように入力にない情報を書いてはいけない課題で、その割合は InstructGPT が21%、GPT-3 が41%だったと報告している。

調整で一部の力が落ちることもある。論文は、RLHF の途中で一部の公開の評価用データで GPT-3 より成績が下がったと書き、これを「alignment tax」と呼んだ。事前学習のデータで学ぶ更新を混ぜると、この低下を大きく減らせたという。

手順の重さも課題だ。DPO の論文は RLHF を「複雑で、しばしば不安定な手順」と書いている。

よくある質問

RLHF は何の略か

Reinforcement Learning from Human Feedback の略で、日本語では人間のフィードバックによる強化学習と呼ぶ。人が答えを比べた結果を報酬にして、モデルを強化学習で調整する方法を指す。

RLHF と強化学習の違いは何か

RLHF は強化学習の使い方の1つだ。強化学習は報酬をもとに行動の仕方を学ぶ方法の全体を指し、RLHF はその報酬を人の好みから作る。InstructGPT では人の順位から学んだ報酬モデルの点数を報酬にした。

ChatGPT は RLHF で作られたのか

OpenAI の説明ではそうだ。2022年11月30日の公開時に、InstructGPT と同じ方法で RLHF を使い、データの集め方を少し変えたと書いている。もとになったのは、2022年初めに学習を終えた GPT-3.5 系のモデルだ。

RLHF と DPO の違いは何か

RLHF は報酬モデルを作ってから強化学習で調整する2段階の方法で、DPO は報酬モデルを別に作らず、好みのデータから直接モデルを調整する。DPO の論文は感情の調整で PPO を使う RLHF を上回り、要約と1回の対話では同等以上だったと報告している。

RLHF で AI の誤りはなくなるか

なくならない。InstructGPT の論文は調整後のモデルも事実をつくるなどの簡単な誤りをすると書いた。OpenAI も、ChatGPT がもっともらしく正しくない答えをすることがあると説明している。

RLHFとは？意味・仕組みと人の評価で調整する手法の論文（2026年11月時点）

RLHF

原論文と関連研究