- AIが推論時に計算を増やす方法を三つに整理し、何を同じ条件で比べるべきかを調べた。
- 数学問題の反復試験では、正解候補を一つ以上見つける率の中央値は56.49%から82.08%に上がった。
- 候補に正解があることと、実際の手順がそれを選ぶことは違う。
何を確かめた研究か
AIに考える時間や回答候補を増やすと、難しい問題の成績が改善することがある。ただし「推論時の計算を増やした」という表現には異なる手法が混ざる。この論文は、推論の途中で何を生成し、どう評価し、いつ止めて、どれを最終回答にするかまでを一つのシステムとして扱う枠組みを示した。
著者は三つの型を区別する。一つの回答を長く考え続ける方法、完成した回答を複数作って投票や検証で選ぶ方法、未完成の途中段階を評価して探索する方法だ。同じ計算予算でも、候補を作る場所と選び方が違えば結果を同列には読めない。
どう検証したか
論文は一般知識、記号推論、競技数学の複数の評価群を扱う。表1に記された公開用データは22,449問、1,948,821件の完全な推論記録。さらに、数学の120問を20種類のモデル設定で各80回解かせた192,000記録を用い、候補数を変えた場合を調べた。
ここで「少なくとも一つ正答が含まれる率」をPass@kと呼ぶ。これは、候補を選ぶ仕組みが正答を見分けた率ではない。著者は同じ候補群から選び方だけを変える比較と、生成から最終回答まで通す比較を分けるよう提案した。費用も候補生成だけでなく、検証、探索の制御、最終決定まで含める。
何が分かったか
20設定の数学試験では、Pass@kの中央値が候補一つの56.49%から80候補の82.08%へ上がった。一方、80候補がすべて正しい確率の中央値は15.00%まで下がった。多く試せば正解に出会う機会は増えるが、誤答も混ざる。正解候補を見つける力と、正解を選んで提出する力は別の能力だ。
著者は、候補群の診断値だけで運用時の性能を主張しないよう求める。比較すべき対象はモデル単体ではなく、生成・検証・停止・選択を含む手順全体である。同じ候補群を使った比較は選択器の違いを調べられるが、新しく候補を生成する運用全体の結果とは区別が必要だ。
限界は何か
論文は幅広い手法を整理した方法論的研究で、ここに示した数値は数学の特定の20設定と120問に限る。別の課題や費用の上限へそのまま広げられない。公開用記録には課題群ごとに信号の豊かさが異なる。なお要旨にある記録数の表現と表1・結論の数値には食い違いがあるため、この記事は内訳を示す表1の数値に従った。
仕事との接点
AIの推論設定や複数候補生成を試すなら、候補の中に正解があった割合だけで判断せず、実際に提出した答えの正確さ、応答時間、総計算費用を測りたい。停止条件や選択方法も固定して比較する。これは論文の評価原則を仕事の検証に適用する編集部の提案であり、特定製品の改善率を示すものではない。