- Self-Instructは少数の手書き指示から新しい指示と入出力例をモデルに作らせ、選別したデータで同じモデルを調整する。
- 未知の課題を含むSuper-NaturalInstructionsでは、GPT-3のROUGE-Lが6.8から39.9へ上がった。
- 生成例には誤りもあり、データ数と評価得点をそのまま実務での信頼性へ置き換えられない。
何を確かめた研究か
指示に従う言語モデルの追加学習には、多様な依頼文と望ましい回答例が要る。人手で大量に集めるには費用がかかり、種類も偏りやすい。Self-Instructの初版論文は、少数の指示例を起点に、モデル自身が新しい指示と回答例を作り、それを学習へ戻せるかを調べた。
最初の175件の手書き指示を手掛かりに、モデルへ新しい指示を生成させる。指示が分類型かどうかに応じて入力と出力の例を作り、形式の不備や既存例との類似を調べて除外する。残ったデータで元のGPT-3を追加学習する。モデルが自己生成したものをそのまま全部採用する方式ではない。
どう検証したか
論文はフィルター後に52,445件の指示、82,439件の入出力例を作った。品質を知るため、200件を標本抽出し、共同著者が指示、入力、出力の正しさを確認した。生成指示は概ね意味を持つ一方、入出力には雑音が残ると報告する。したがって件数は正しい教師例の件数と同義ではない。
評価には、学習にない課題を含むSuper-NaturalInstructionsのほか、専門家が新たに書いた252の指示を使った人手評価を用いる。前者のROUGE-Lは参照回答との文字列の一致を測り、後者の判定とは意味が違う。論文はその二種類の結果を並べている。
何が分かったか
Super-NaturalInstructionsの表3で、元のGPT-3のROUGE-Lは6.8、Self-Instructで調整したGPT-3は39.9だった。差は33.1ポイントである。同表のInstructGPT-001は40.8だった。ただし、これらは未知課題の特定のベンチマークでの結果であり、モデルがどんな指示にも同程度に従うと示すものではない。
新規指示の人手評価でも、公開データで調整した比較対象より良い結果を示したと論文は述べる。InstructGPT-001との差を「5ポイント」とする記述は、回答の有効性を特定の基準で判定した比較であり、表3のROUGE-L差0.9とは別の指標だ。この二つを混ぜて性能差を述べると誤解を招く。
限界は何か
モデル自身の出力を学習に使うため、元のモデルが苦手な指示や誤った回答が繰り返される可能性がある。標本評価で雑音が見つかっており、フィルターで全てを取り除けたわけではない。生成された課題の幅も、最初の175件やモデルの学習歴に影響される。
また、比較の中心は英語の指示と当時のGPT-3であり、日本語や専門業務の指示に同じ改善幅が出るとは言えない。ROUGE-Lは表現の異なる正解を十分に評価できないこともある。生成データを採用するなら、未知の課題で人手評価も併用したい。
仕事との接点
社内の作業指示を学ぶデータが少ない場合、少数の良い例から候補を増やす方法は考えられる。ただし機密情報の混入、重複、誤答を検査し、人が確かめた保留課題で比較してから利用する。これは論文の方法と限界を踏まえたTRAIL編集部の提案であり、個別の業務環境での効果を論文が測定したものではない。