- 複雑さを段階的に変えられるパズルで、推論モデルの正答率と出力過程を調べた。
- 第3版の実験では、難易度が上がると推論モデルも正答できなくなり、さらに難しい問題では思考トークンが減る傾向を観察した。
- 対象は規則と正解が明確なパズルであり、現実の仕事全体で「AIは考えられない」と結論づける研究ではない。
何を確かめた研究か
The Illusion of Thinkingの原論文・第3版は、長く考えるよう訓練されたAIが、問題の複雑さを増したときにどう振る舞うかを問う。一般的な数学・コード試験は、問題ごとに必要な手順が違い、学習データとの重なりも分かりにくい。そこで著者らは、同じ規則のまま盤面だけを大きくできるパズルを用意した。
論文の初公開は2025年6月7日。この記事は同年11月20日に提出された第3版を参照する。題名の強い表現より、どの問題とモデルで何が観察されたかを読むことが大切だ。
どう検証したか
対象はハノイの塔、川渡り、チェッカーの移動、ブロックの組み換えという四つの環境。円盤や駒の数などを変えることで、必要な手順の長さや組み合わせの難しさを段階的に上げる。各環境には正解の手順を確認する仕組みがあり、最終回答だけでなく、途中でどの一手を間違えたかを調べられる。
主な比較は、Claude 3.7 Sonnetの思考あり／なし、DeepSeek-R1／V3などの組で行った。推論用に使ったトークン数も記録し、計算量をそろえた比較を加える。第3版の実験設定では、各難易度・モデルについて25回の出力を分析し、指定形式を満たすものを対象にした。形式を守れない出力が除かれる点も結果の読み方に関わる。
何が分かったか
図4と図5では、簡単な問題では思考なしのモデルが同程度か効率で勝る場合があり、中程度では推論モデルに利点が出る。さらに複雑になると、調べた組のどちらも正答できない領域が現れた。これは同じ規則でも、問題サイズによって優位性が変わることを示す。
図6では、推論モデルが難易度の上昇に合わせて思考トークンを増やした後、正答がほぼなくなる付近で、まだ出力上限に余裕があるにもかかわらず思考トークンが減る傾向を示した。ただし程度はモデルによって異なり、Claude 3.7 Sonnetでは比較的弱い。図はモデルとパズルごとの挙動であり、一つの数値を全モデルへ当てはめることはできない。
著者らは途中の手順も検査し、解法アルゴリズムを指示しても手順を安定して実行できない場合を報告する。最終回答だけを見る試験では、このような最初の誤りの位置や、途中で直せたかを見落とす。
限界は何か
論文自身が、四つのパズルは現実の知識を使う課題や開かれた仕事の一部しか代表しないと述べる。多くのモデルは外部APIを通じた観察で、内部の仕組みを直接確かめていない。正解を一手ずつ判定できる環境は、曖昧さのある実務と条件が違う。
したがって、ここでの「崩壊」は測定したパズルとモデルの正答率についての表現である。人のように考えているかという哲学的な結論や、現在のあらゆるAIの能力上限を示すものではない。
仕事との接点
自社で推論AIを比べるなら、平均の正答率に加え、手順が長くなるとどこで誤るか、途中の結果を検証して修正できるかを観察する。正解が明確な小さな課題から始め、外部ツールや人の確認を含む実際の作業へ広げる。これはTRAIL編集部の提案であり、論文のパズル結果を業務の成功率に換算するものではない。