- DeepSeek-AIは、正答を報酬にする強化学習で推論モデルを育てる方法を報告した。
- 第2版では、R1-ZeroのAIME 2024初回正答率が訓練中に15.6%から77.9%へ上がった。
- これは数学試験での結果。最終版R1には別の学習段階があり、道具利用や多言語の課題も残る。
何を確かめた研究か
DeepSeek-R1の原論文・第2版は、モデルに人が書いた大量の解法例を覚えさせなくても、正答の成否を使った強化学習で長い推論過程を育てられるかを問う。強化学習とは、出した回答に報酬を与え、次に出す回答の傾向を変える訓練である。
論文は二つのモデルを分ける。DeepSeek-R1-Zeroは、事前学習済みのDeepSeek-V3-Baseから、解法例による事前の教師あり追加学習を挟まずに強化学習を行った。最終版のDeepSeek-R1は、読みやすさと一般的な応答能力のため、教師あり学習と複数段階の強化学習を加える。R1-Zeroの実験結果を、そのまま最終版R1の訓練方法として紹介しない。
論文の初公開は2025年1月22日。この記事は内容が増補された2026年1月4日の第2版に固定して読む。
どう検証したか
R1-Zeroでは、一つの問題に複数の回答を作らせ、同じ問題内の回答群を比べて学習するGRPOという方法を使う。数学やコードのように答えを検証しやすい課題では、最終回答が正しいかを報酬にした。推論部分を指定のタグに入れる形式報酬も与えるが、途中の推論文の内容を人の解法と一致させる報酬は使わない。
最終版R1では、少量の読みやすい解法例を出発点にした後、推論課題の強化学習を行い、さらに推論以外の応答データを使う。論文は訓練段階ごとに数学、コード、一般の質問、指示追従などを表3で比較する。AIME 2024は競技数学の問題集合であり、すべての業務推論の代表ではない。
何が分かったか
第2版の図1では、R1-ZeroのAIME 2024におけるpass@1が強化学習の初期15.6%から77.9%に上がった。pass@1は一度の回答で正解した割合である。複数回答をまとめて選ぶ方法では86.7%と報告するが、試行条件が異なるため一回での結果と混ぜない。
表3で最終版R1を見ると、AIME 2024は79.8%、厳格な指示追従を測るIF-Evalは83.3%だった。R1-ZeroのIF-Evalは46.6%で、推論の強さと一般の指示への従い方が別の課題であることが分かる。ただし、表3ではGPQA Diamondなど最終版R1がR1-Zeroを下回る項目もある。学習段階を増やせばすべての指標が単調に上がるわけではない。
限界は何か
著者らは、R1-Zeroには読みづらさや中国語・英語の混在があったと記す。最終版R1でも構造化した出力や検索・計算機などの道具利用は十分ではなく、簡単な問題への考え過ぎによるトークンの浪費も残る。中国語と英語以外の質問では、言語の混在が起こり得る。
また、競技数学やコード試験での改善を、社内の曖昧な要件整理や長い作業の完了にそのまま広げられない。公開された論文の版やベンチマーク条件が違えば、他社モデルとの数字の比較にも注意が要る。
仕事との接点
推論モデルを選ぶときは、難問の正答率と、決められた形式で返す能力、検索や計算道具を使う能力、回答までの時間と費用を別々に測る。日本語の実務では、長い回答の言語混在も試したい。これはTRAIL編集部の提案であり、論文が業務の品質や費用を検証したわけではない。