- Chain of Thought promptingは、途中の考え方を含む少数の例を示し、モデルが手順と答えを続けて出す方法だ。
- 初版v1は算数の文章題、記号操作、常識推論で通常の例示と比べた。
- 手順の文章が自然でも、実際の計算や結論が正しいとは限らない。
何を確かめた研究か
言語モデルは簡単な質問には答えられても、複数の計算や条件をつなぐ問題で失敗しやすい。Chain of Thoughtの原論文v1は、問いと最終答えだけを並べる代わりに、短い中間手順も例として見せると、複雑な推論課題を解きやすくなるかを調べた。学習済みモデルの重みを変えるのではなく、入力する少数の例の書き方を変える。
「考えた過程」を人間の頭の中と同じものとして扱う研究ではない。モデルが出すのは文章であり、実際にどの内部計算から答えに至ったかを直接観察しているわけではない。評価では、出力された手順と最終答えを分けて読む必要がある。
どう検証したか
著者らは、通常の少数例プロンプトと、途中手順を含む少数例プロンプトを比べた。算数の文章題ではMultiArithやGSM8Kなどを使い、記号操作、常識推論も別に評価した。計算機を外部で使う場合や、手順ではなく式だけを見せる場合などの比較もある。例示の数や問題の難しさによって、方法の効果が変わるかを調べた。
初版v1では主に1370億パラメータのモデルを扱い、別のモデルでも傾向を確かめる。後の改訂版に追加された大規模モデルの値を、初版の結果として引用しない。版を固定して読む理由は、同じ論文番号でも実験と数値が増えるためだ。
途中手順の例は、人が問題に合わせて書いている。論文は別の書き手が作った例でも効果が残るかを確かめ、方法が一人の表現だけに依存するかを検討した。計算式だけを出す比較では、簡単な問題で十分な場合もある。長い説明を常に追加することが目的ではなく、複数段階の問題を小さな段階へ分けることが効果に関わる。答えの前に何を書くかという小さなプロンプト差も、実験条件として記録したい。
何が分かったか
複数の手順を要する問題で、途中手順を例示すると通常の入力より正答率が上がった。初版v1ではGSM8Kで、1370億パラメータのモデルの解答率が14.8%から19.5%へ改善した。一方、単純な計算では、手順を長く出させることが必ずしも有利ではない。論文は、十分な規模のモデルで効果が現れやすいことも示す。
この結果は「説明を付ければ正しい」という意味ではない。途中手順がもっともらしくても、計算を誤ったり、問題文の条件を取り違えたりする例を著者ら自身が検討している。正答率の改善と、個別の回答が検証不要になることは別だ。
限界は何か
入力した例の選び方や書き方で出力が変わる。必要な答えの形式を守らず、正答を含んでいても採点できない場合もある。数値の改善は論文で選んだ課題とモデルに限られ、日本語の長文規定や業務判断へ直結しない。長い手順は出力トークンと時間も増やす。
また、手順がどれほど忠実に内部の理由を表すかは、この実験だけで結論づけられない。見栄えのよい説明に頼るほど、最終答えの誤りを見落としやすくなる。
仕事との接点
見積もりや集計をAIに任せるなら、手順と答えを両方出させ、数字の出所と計算を別の方法で照合する。どの例を入力したかを記録し、例を変えた時の揺れも測る。これはTRAIL編集部の提案であり、原論文が実務上の意思決定の正確さを保証したものではない。