- Self-Consistencyは、途中手順を複数生成し、最終答えの多数派を採用する推論時の方法だ。
- 初版v1は算数と常識推論で、一本道の生成より正答率が高い例を示した。
- 複数回の生成には費用がかかり、多数派の答えも正しさの証明にはならない。
何を確かめた研究か
Chain of Thought promptingでは、途中手順を一つ生成して最終答えを選ぶと、その一本の誤りに結果が左右される。Self-Consistencyの原論文v1は、同じ問いから異なる手順を複数出し、最も多く現れる答えを採用すると正答率が上がるかを検証した。モデルの再学習を求める方法ではなく、推論時の出し方を変える。
同じ答えに至る手順が複数あれば、その答えは一つの偶然の生成より信頼できるかもしれない。ただし、候補が独立した人の判断になるわけではない。同じモデルとプロンプトから作るため、同じ思い込みを共有する可能性もある。
どう検証したか
著者らは、Chain of Thoughtの例を見せてから、確率的なサンプリングで異なる手順と答えを生成した。最終答えを集計し、多数派を選ぶ。複数の手順を読んで正しいと判定する別のモデルや、人による採点を推論時に足す方法ではない。比較相手は通常の一回の生成などである。
評価にはGSM8K、SVAMP、MultiArithといった算数の文章題と、CommonsenseQAやARCなどの常識課題を用いた。サンプル数や生成時の温度などを変えた実験もあり、結果が一つの設定だけの偶然かを確認している。指標は最終答えの正答率であり、途中手順の全ての文が正しい割合ではない。
この方法は各候補の途中手順を一つずつ採点してから選ぶわけではない。異なる手順の先に現れた同じ最終答えへ票を集める。手順の表面が違っても答えを一つにまとめられることが利点だ。反面、数値の単位や表記をどう正規化するかで集計が変わりうる。論文は温度やサンプル数を変えた実験を載せており、適切な候補数を一つの値として保証していない。生成に失敗した候補をどう扱うかも用途別に決める必要がある。
何が分かったか
初版v1の要旨では、GSM8Kで約10ポイント、SVAMPで約14ポイント、MultiArithで約24ポイントの正答率改善を報告する。常識推論でも改善を示す。これらは初版で示された比較条件の値で、後の版の要旨にある別モデル・別数値と混ぜない。
複数経路から同じ答えが現れる性質を使えば、モデルの重みを変えずに性能を引き上げられる点が研究の核心だ。ただし、一つの問題で多数派になった答えが、必ず正しいという統計的な保証は与えない。
限界は何か
一問につき複数回生成するため、入力・出力トークン、待ち時間、費用が増える。候補数を増やしても改善が頭打ちになることがある。全候補が同じ誤解に引きずられれば、多数決は誤答を強める。答えが一意でない創作や、正しさを数えにくい長文の助言には、そのまま適用しにくい。
表記が違う同義の答えをどうまとめるかも課題になる。論文のベンチマークは比較的短い答えを採点できる課題が中心である。
仕事との接点
一意の答えがある集計や分類へ試すなら、一回生成との正答率差を測るだけでなく、一問当たりの時間と費用を記録する。多数派が間違えた例を集め、同じ誤りに偏る条件を調べる。これはTRAIL編集部の提案であり、原論文があらゆる業務判断での多数決を推奨したものではない。