- InstructGPTの研究は、人が望む応答の例と、回答の比較評価を使って言語モデルを調整した。
- 著者らのプロンプトを用いた人手評価では、より小さな調整済みモデルの回答が、大きな未調整モデルより好まれた。
- 「好まれる回答」は評価者と課題の条件に依存する。事実の正確さや安全性が保証されたわけではない。
何を確かめた研究か
文章を続けるよう学習した言語モデルは、質問に流暢に答えられても、利用者が本当に求めた指示に従うとは限らない。InstructGPTの原論文は、モデルの大きさだけでは解決しないこの問題に対し、人の評価を使った追加学習で応答を変えられるかを調べた。
ここでいう「人の意図」は、すべての人の価値観を一つにまとめたものではない。論文では、研究チームが設計した作業を行う評価者の判断と、当時のAPI利用者が送った指示を材料にした。どの人の好みに近づけた研究なのかを、結果と一緒に読む必要がある。
どう検証したか
まず、人が指示に対する望ましい回答例を書き、それを使ってGPT-3を追加学習した。次に、同じ指示への複数のモデル回答を人が順位付けし、その順位を予測する「報酬モデル」を作った。最後に、報酬モデルの評価を参考に、強化学習で回答を調整した。論文は、こうして得たモデルをInstructGPTと呼ぶ。
著者らは、学習に使っていないAPI利用者の指示を含む評価用データを用意し、人の評価者に回答を比較してもらった。一般公開された自然言語処理の課題でも性能を測り、真実性や有害な文章の出やすさについても別の評価を行った。主な「好まれたか」の結果は、著者らの評価用プロンプトと評価者による比較である。
何が分かったか
その人手評価では、13億パラメータのInstructGPTの回答が、1,750億パラメータの未調整GPT-3の回答より好まれた。モデルが大きいほど、利用者の指示に沿う回答になるとは限らないことを示す結果だ。論文は同じ規模同士の比較でも、調整したモデルの回答が好まれやすいと報告する。
真実性の評価では改善が見られた一方、論文は単純な間違いが残ると明記している。回答への好み、事実の正しさ、有害な出力の少なさは、同じ指標ではない。「人が好んだ」を「すべて正確で安全」に読み替えることはできない。
著者らは、人の好みに近づける追加学習によって、従来の公開課題での成績が下がる場合も調べた。その低下を和らげるため、元の事前学習データも学習に混ぜている。新しい振る舞いを得ることと、以前からできた仕事を保つことは、別々に確認する必要がある。
限界は何か
評価者は約40人で、主に英語を話す人たちだった。学習用の指示もほぼ英語で、論文はこの集団が利用者全体を代表するわけではないと説明する。誰の判断を学習目標にするかによって、望ましい回答の姿は変わりうる。
著者ら自身、モデルが誤った事実や有害な内容を生成すること、害につながりうる指示にも従う場合があることを限界として挙げた。日本語の業務ルールや組織固有の価値基準に合うかは、この論文の比較結果だけでは分からない。
仕事との接点
業務でAIを選ぶ際には、「読みやすい回答か」と「指示を守ったか」を分けて確かめたい。さらに、正しい根拠に基づくか、許されない内容を避けるか、誰の基準で評価するかを明確にする。評価者と評価対象を先に決めるのはTRAIL編集部の提案であり、この論文が日本企業での導入効果を実証したわけではない。