- Coconutは途中の推論を単語に変えず、モデルの隠れ状態を次の入力として使う方法だ。
- 第2版の表1では、探索を要する人工論理課題ProsQAで連鎖思考より高い正答率を得たが、GSM8kの算数では低かった。
- 「幅優先探索のような挙動」は著者らの分析による解釈で、一般の問題で探索木を正確に実行する保証ではない。
何を確かめた研究か
言語モデルは難しい問題で途中の考えを文章にする「連鎖思考」を使える。しかし、文章にするための単語列が推論に最適とは限らない。Coconutの論文は、モデルの最後の隠れ状態を単語に変換せず、次の入力埋め込みへそのまま渡す方法を提案した。この一回分の内部状態を論文は「連続思考」と呼ぶ。
訓練では初めに通常の文章による推論手順を使い、段階が進むたびに冒頭の手順を連続思考へ置き換える。つまり、答えだけで突然内部推論を学ぶ設計ではない。推論時には内部モードの開始と終了を指定し、今回の主実験では一定の数の連続思考を入れてから答えを出す。
どう検証したか
第2版はGPT-2を基盤モデルに用い、算数のGSM8k、論理推論のProntoQA、著者らが作ったProsQAで評価した。ProsQAは架空の概念の関係を有向グラフで生成し、正しい推論経路を見つけるための探索を求める人工課題だ。比較対象には、文章の連鎖思考（CoT）、途中手順を使わない方法、文章の推論手順を徐々に省くiCoT、待機トークンを使う方法がある。
正答率に加え、生成するトークン数も比較した。ただし表1のトークン数は推論時の出力の長さを見る指標で、訓練に要る計算量と同じではない。論文の§3は、連続思考の数だけ順番に前向き計算が必要で、並列化に課題があると説明する。
何が分かったか
表1でProsQAの正答率はCoTの77.5%に対しCoconutが97.0%。生成トークン数は49.4から14.2へ減った。一方、iCoTは98.2%でCoconutをわずかに上回る。ProntoQAではCoconutとiCoTがともに99.8%で、CoTの98.8%との差は小さい。Coconutだけが有利な課題ではない。
GSM8kでは逆にCoTが42.9%、Coconutが34.1%だった。文章で途中計算を明示するほうが有利な問題があることを示す。したがってProsQAの大きな差を「言葉にしない推論は常に優秀」と言い換えることはできない。
論文はProsQAの内部状態を分析し、複数の候補経路を並行して保持するように見える挙動を「幅優先探索」にたとえる。ただし内部状態の可視化や特定の事例からの解釈であり、厳密な探索アルゴリズムを一般の質問で実行していると証明したわけではない。
限界は何か
主実験の基盤はGPT-2で、現代の大型モデルに同じ効果が出るかはこの論文から分からない。ProsQAは探索を調べやすい人工課題で、業務の文書分析や意思決定の妥当性を直接測っていない。訓練には文章による推論手順が必要で、推論に使う連続思考の数も実験設定に依存する。
短い出力が必ず低い計算費用を意味するわけでもない。隠れ状態を繰り返し渡す処理と通常の文章生成では、実行時間やメモリの条件が違う。速度を論じるなら、同じ機器とモデルの規模で実測する必要がある。
仕事との接点
推論方式を選ぶ際は、探索が必要な問題と段階的な計算問題を分けて試し、正答率、説明の検証しやすさ、実行時間を並べる。内部で考える方式は推論過程を人が読みにくいため、最終回答の根拠を別に確認したい。これはCoconutの結果から導くTRAIL編集部の評価提案であり、論文が業務用途の成果を実証したものではない。