- STaRは少数の説明例からモデル自身に推論文を作らせ、正答した例を使って学習を繰り返す。
- CommonsenseQAでは72.3%を報告し、答えだけを学習する基準の60.0%を上回った。
- 正答に結び付く説明を選ぶ方法なので、説明文の事実性は別に確かめる必要がある。
何を確かめた研究か
段階を踏んだ説明を付けると、言語モデルが難しい問題を解きやすくなる。しかし、正しい推論例を大量に人手で書くのは高価だ。STaRの初版論文は、少数の説明例と答え付きの問題を使い、モデル自身が学習用の説明を増やせるかを調べた。
まずモデルに問題を見せ、説明と答えを作らせる。答えが正しかった例の説明を集めて追加学習し、改めて問題を解かせる。これを繰り返すと、以前は解けなかった問題からも学習例を得られるという発想だ。ただし最終答えが正しくても、途中の説明が本当に妥当とは限らない。
どう検証したか
STaRには、間違えた問題で正答をヒントとして与え、説明をもう一度作る「合理化」もある。説明を学習に加えるときはヒントを除き、モデルが自力で答えへ至る形式へ戻す。正解を知っている問題を学習に使うことと、正解を知らない新しい問題を評価することは分けて考える必要がある。
論文は計算問題と五択の常識質問CommonsenseQAで評価した。常識質問では、少数の説明例をプロンプトに使うだけの方法、最終答えだけを追加学習する方法などと比べた。モデルが自ら作った説明を使う繰り返しと、正答ヒントによる再生成の影響を調べている。
何が分かったか
CommonsenseQAの比較で、少数例のみは36.6%、最終答えを直接学習する基準は60.0%、STaRは72.3%だった。論文が示す約30倍大きい別モデルの73.0%にも近い。ただしこの「30倍」はモデル規模の比較であり、学習データ、計算量、課題外の能力まで等しいことを意味しない。
結果は、答え付きデータに推論文が付いていなくても、モデルが説明付きの学習例を生成して成績を改善できる可能性を示す。合理化を使うことで、初期モデルが誤答した問題も学習に入れやすくなる。一方、正答率の改善は、生成された説明が常に論理的に正しいという証拠ではない。
限界は何か
STaRは学習問題の正答を必要とする。正答がない新規業務データにそのまま適用できない。常識質問は五択なので、偶然正しい答えを選んだ説明も選別を通る可能性がある。論文も、正答だけを根拠に推論文の質をみなす前提を置いている。
さらに、計算問題と常識質問の結果から、長い文書の事実確認や複雑な業務判断まで一般化はできない。繰り返し学習するため、教師となる正答の誤りや問題の偏りを引き継ぐ恐れもある。新しい課題では独立した評価集合が不可欠だ。
仕事との接点
手順を含む回答を学ぶデータが少ない場合、答え付きの既存問題から説明候補を作る方法は検討に値する。採用するなら、答えの正誤と説明の妥当性を別々に検査し、学習に使っていない問題で改善を測る。これはSTaRの方法と限界を踏まえたTRAIL編集部の提案であり、個別の業務での有効性を論文が測ったものではない。