- s1は、選んだ1,000件の推論例で言語モデルを追加学習し、回答前の生成量を制御した研究である。
- 第3版では、AIME 2024の正答率が制御なしの50.0%から56.7%へ上がった。
- 思考を長くする効果は頭打ちになり、同じ内容の反復や入力長の上限にもぶつかる。
何を確かめた研究か
s1の原論文は、推論時に追加の計算を使うとき、複雑な訓練方法がなくても回答の精度を上げられるかを調べた。著者らは約5.9万件の問題と推論過程から、難しさ、多様さ、解答の質を基準に1,000件の「s1K」を選んだ。Qwen2.5-32B-Instructをこのデータで教師あり追加学習し、s1-32Bを作った。論文の初公開は2025年1月31日、記事が参照する第3版は同年3月1日である。
どう検証したか
回答前の推論トークンが上限に達したら終了記号を入れて最終回答へ移る。長く考えさせる場合は、終了記号を抑え、必要に応じて「Wait」を追加する。著者らはこれをbudget forcingと呼ぶ。単に回答を何度も生成して多数決する方法とも比較した。
評価には競技数学のAIME 2024とMATH500、科学分野のGPQA Diamondを用いた。論文はこれらの問題との8-gram一致による重複除去を記す。表1は基盤モデル、追加学習後のモデル、他の推論モデルを並べる。ただし学習データ、利用可能な計算量、モデルの公開状況が揃った比較ではない。
何が分かったか
表1ではAIME 2024の正答率が、基盤モデルの26.7%、s1-32Bの制御なしで50.0%、制御ありで56.7%だった。MATH500も84.0%から93.0%になった。これは1,000件の選別した例による追加学習と、評価時の制御を組み合わせた結果であり、追加の思考時間だけの効果ではない。
表2のデータ選択実験では、無作為に選んだ1,000件や多様性だけで選んだ1,000件より、s1KがAIME 2024で高かった。一方、約5.9万件すべてを使った場合との差の信頼区間はゼロをまたぐ。少量データが常に大量データを上回るとの結論ではない。
限界は何か
図4では、推論時の計算量を増やしたときの改善が約6倍で頭打ちになる。終了を抑え続けると同じ考えの反復に陥り、モデルの文脈長も上限になる。論文は512ステップまで延ばす実験で、30問中12問が文脈長を超えたと記す。
推論例は別モデルのGemini 2.0 Flash Thinkingから生成している。s1の数値だけから、特定の業務での正確性や、推論時間に見合う費用は分からない。評価は主に数学・科学問題であり、文書作成や顧客対応への効果は測っていない。
仕事との接点
推論時間を調整できるモデルを使うなら、短い設定と長い設定を同じ業務問題で比べる。正答に加えて、回答までの時間、トークン使用量、反復や途中終了の割合を記録する。これはTRAIL編集部の検証提案であり、論文の業務評価ではない。