強化学習とは？意味・仕組みと強化学習で鍛えたモデルの年表（2026年10月時点）

ひとことで言うと

強化学習は試行錯誤の結果につく点数（報酬）をもとに、どう行動すればよいかを学ぶ機械学習の方法だ。Google の機械学習の用語集は環境とのやり取りの中でリターン（報酬の合計）を最大にする方策を学ぶアルゴリズムの集まりと定義している。

身近な例でいえば、将棋やチェスだ。Google の用語集は、勝ちにつながった手の並びと負けにつながった手の並びを評価することで、強化学習の仕組みが複雑なゲームに強くなれると説明している。2017年の AlphaZero の論文は、ルールのほかに知識を与えず、でたらめな手から始めて、24時間以内にチェスと将棋と囲碁で人を超える水準に達したと報告した。

仕組み

Google の用語集の定義をもとに、強化学習の流れを書くと次のようになる。

1. エージェント（学ぶ側）が、環境（ゲームや迷路のような、エージェントを含む世界）の今の状態を観察する。
2. エージェントが方策（ポリシー。状態ごとにどの行動を取るかを確率で決めたもの）に従って行動を選ぶ。
3. 行動を受けて環境が次の状態に移り、報酬（行動の結果につく数値）が返る。
4. この試行（エピソード）をくり返し、エピソードの終わりまでの報酬の合計（リターン）が大きくなるように方策を直していく。

2017年の PPO の論文は環境とのやり取りでデータを集める段階と、集めたデータで方策を直す段階を交互にくり返す方法を提案した。

この考え方は LLM（大規模言語モデル）の学習にも使われている。2022年の InstructGPT の論文は、次の2段階で GPT-3 を調整した。

• 人が書いた手本の回答で、教師あり学習（正解つきのデータで学ぶ方法）を行う。
• モデルの複数の回答を人が順位づけしたデータを集め、人のフィードバックによる強化学習（RLHF）でさらに調整する。

推論モデルの学習にも強化学習が使われている。OpenAI は2024年9月の o1 の発表で、o1 を「複雑な推論を行うために強化学習で訓練された」モデルと説明した。2025年1月の DeepSeek-R1 の論文は、人が書いた推論の手本を使わず、強化学習だけで LLM の推論の力を引き出せると報告している。

表で見る最新の状況

上の年表は TRAIL の年表から、強化学習で鍛えたと発表されたモデルの公開5件を、古い順に選んで並べたものだ。確認日は2026年10月10日。

• 2024年9月12日の OpenAI o1-preview の公開：回答の前により長く考える推論モデルの第1弾だ。OpenAI は、強化学習の量（学習時の計算）と考える時間（答えるときの計算）が長いほど、o1 の性能が上がったと書いている。
• 2025年1月20日の DeepSeek-R1 の公開：大規模な強化学習で鍛えた推論モデルで、MIT ライセンスのオープンソースだ。論文によると、学習の中で、自分を振り返る（self-reflection）、確かめる（verification）といった推論のやり方が現れた。
• 2025年7月9日の Grok 4 の公開：xAI は20万個の GPU を持つ計算基盤 Colossus で、事前学習と同じ規模の強化学習を行ったと説明している。ツールの使い方も強化学習で学ばせたという。
• 2026年7月8日の SWE-1.7 の公開：Cognition が Kimi K2.7 を土台に強化学習で鍛えたモデルだ。Devin の Web、Desktop、CLI で使える。
• 2026年9月10日の SWE-2 の公開：Kimi K3 をもとに強化学習で鍛えた Cognition の自社モデルだ。FrontierCode 1.1 Main で50.0%を記録したとしている。

TRAIL の年表では、5件は ChatGPT、DeepSeek、Grok、Windsurf、Devin のツールに分かれる。2026年の2件は Kimi のモデルをもとに、Cognition が強化学習で鍛えた自社のモデルだ。

上の「原論文と関連研究」には、ゲームの AlphaZero から、RLHF の InstructGPT、推論モデルの DeepSeek-R1 までの論文7本を並べた。

強化学習と教師あり学習の違い

教師あり学習は問題と答えの組を覚えるやり方に近い。強化学習は答えそのものを教えず、出した回答や行動に点をつけて、点の高いものが出やすくなるようにモデルを直す。OpenAI の強化学習のファインチューニング（RFT）の説明は、点の高い出力が出やすく、低い出力が出にくくなるように、モデルの重みを動かすと書いている。

仕事でどう関係するか

推論モデルの性能の説明を読むとき

OpenAI は o1 の発表で、強化学習の量や、答える前に考える時間が長くなるほど性能が上がったと書いた。DeepSeek-R1 の論文は、強化学習で鍛えたモデルが、数学、プログラミングの競技、理系の分野のように答えを確かめられる作業で高い成績を出したと報告している。答えの正しさを確かめにくい作業で同じように良くなるとは書いていないので、自社の作業がどちらに近いかを見て、試す順番を決められる。

自社の業務に合わせてモデルを調整したいとき

OpenAI の RFT は利用者が用意したグレーダーが回答ごとにつけた点数をもとに、点の高い回答が出やすくなるように推論モデルを調整する仕組みだ。OpenAI は向く作業として、病歴と診断の指針にもとづく診断や、判例から関係する箇所を探す作業を挙げている。そのうえで、理想の出力について専門家の採点者の意見がそろうことが必要だとしている。正解を採点する基準を、社内の専門家が一致して書けるかどうかが、この方法を検討する前の分かれ目になる。

ただし、OpenAI はファインチューニングの提供を終える途中にある。新しい利用者は使えず、対象の既存の利用者が学習の作業を作れるのは2027年1月6日まで（元のモデルがそれより早く終わる場合を除く）だ。RFT が対応していた o4-mini（o4-mini-2025-04-16）は、調整したモデルも含めて2026年10月23日に提供を終えた。

採点の基準を考えるときは、AI に下書きを頼むこともできる。

社内の問い合わせへの回答を採点する基準を作りたいです。
次の3つの観点で、0点から1点の点数をつける規則を書いてください。
1. 社内規程の内容と合っているか
2. 規程に書かれていないことを書いていないか
3. 次に取る手順がはっきりしているか

AI の回答の振る舞いがどう決まるかを知りたいとき

InstructGPT の論文は、モデルを大きくするだけでは利用者の意図に沿うようにならないと書いている。そのうえで、人の順位づけをもとに強化学習で調整した13億パラメータのモデルの出力が、1,750億パラメータの GPT-3 の出力より好まれたと報告した。Anthropic の Constitutional AI の論文は、有害な出力を示す人のラベルを使わず、ルールや原則の一覧と、AI による評価を報酬に使う方法（RLAIF）を示している。チャットAIの答え方はこうした調整によっても変わる。

注意点と限界

• 報酬の決め方が結果を左右する。2017年の人の好みから学ぶ論文は、強化学習の仕組みに複雑な目標を伝える必要があると書き、報酬の関数を使わずに人の好みから目標を学ぶ方法を示した。
• RLHF の手順は複雑になりやすい。DPO の論文は RLHF を「複雑で、しばしば不安定な手順」と書き、報酬のモデルを作ってから強化学習で調整する2段階を、分類の損失だけで済ませる方法を提案した。
• 強化学習で調整しても誤りは残る。InstructGPT の論文は、InstructGPT がまだ単純な誤りをすると書いている。
• 効果が報告されている作業には偏りがある。DeepSeek-R1 の論文が高い成績を示したのは、数学やプログラミングのように答えを確かめられる作業だ。

よくある質問

関連する用語

• 用語：推論モデル、機械学習、LLM、ファインチューニング、ディープラーニング
• ツール：ChatGPT、DeepSeek、Grok、Windsurf、Devin
• 研究：InstructGPT、DeepSeek-R1、PPO