- Absolute Zeroはモデル自身がコードの練習問題を提案し、実行器で確かめながら解く。
- Qwen2.5-7Bを基にした実験ではコードと数学のベンチマーク平均が39.8から46.8に上がった。
- 「ゼロ」は追加の人手作成問題を使わないという訓練段階の意味で、事前学習や外部の実行環境は必要だ。
何を確かめた研究か
Absolute Zeroの原論文は、推論能力を強化するための問題集を人が大量に用意し続ける必要があるかを問う。従来の検証可能な報酬による強化学習は、正誤を機械的に判定できても、練習問題自体を人が選ぶことが多い。提案するAbsolute Zero Reasoner（AZR）は、同じモデルが問題を作る役と解く役を担う。
ここでいう「データゼロ」は追加の人手作成した訓練問題集がないことを指す。出発点は事前学習済みのQwen2.5モデルであり、Pythonコードを実行して答えを検証する環境と、問題形式を決める設計は外部から与えられる。
どう検証したか
モデルはコードの入力を推測する、出力を求める、関数の振る舞いを推測する、といった問題を提案する。実行器で問題の妥当性や答えを調べ、提案側と解答側に報酬を渡す。難しすぎても易しすぎても学習が進みにくいため、提案問題の難度も報酬に反映する。
7Bの基礎モデルとコード特化モデルをそれぞれ学習し、HumanEval+、MBPP+、LiveCodeBench、数学6ベンチマークで比較した。表1の平均点はコード3指標の平均と数学6指標の平均をさらに等重みで平均した値で、全問題を一つに混ぜた正答率ではない。
何が分かったか
Qwen2.5-7B基礎モデルでは、表1の総合平均が39.8から46.8へ、コード特化7Bでは40.2から50.4へ上がった。ただし基礎モデルのHumanEval+は73.2から71.3へ下がる。すべての課題で改善したわけではない。比較した他手法には出発モデルや追加データの種類が異なるものがあり、表1だけから同じ条件で最強と断定できない。
限界と仕事との接点
訓練問題を自作しても、正誤を確かめる実行器の範囲に学習信号が縛られる。数学への転移は興味深いが、業務文書の正しさや事実確認のようにコード実行で答えを決められない課題へ、そのまま広げられない。実行するコードの安全な隔離も必要になる。自動練習を業務に使うなら、まず検証できる課題と、失敗を検出する独立した評価を定義する。最後はTRAIL編集部の提案である。