- GPT-3論文は、大きくした言語モデルに入力文中で少数の例を示すと、課題別の重み更新なしでどこまで取り組めるかを調べた。
- 1750億パラメータのモデルで多様な課題を評価し、規模とともに改善する傾向を報告した。
- 失敗する課題や評価データの混入可能性も論文自身が検討している。
何を確かめた研究か
新しい文章処理の課題を解くため、従来はその課題専用の正解データを集め、学習済みモデルの重みを更新する方法が広く使われていた。「Language Models are Few-Shot Learners」は、入力に説明や例を入れるだけで、どこまで課題に対応できるかを検証した。論文がいう「few-shot」は、モデルが少数例だけで最初から学習された、という意味ではない。大規模な事前学習を済ませたモデルを、少数の例を含む入力で評価する設定だ。
著者らは複数の規模の自己回帰型言語モデルを学習した。最も大きいGPT-3は1750億パラメータを持つ。文章を左から右へ予測して作るため、BERTのように入力文の各位置が左右両側を同時に読むエンコーダーとは役割が異なる。
どう検証したか
論文は三つの入力設定を比較する。zero-shotは課題の説明のみ、one-shotは例を一つ、few-shotは複数の例を与える。few-shotでは一般に10〜100例を文脈窓に収めると説明される。いずれも評価時には課題別の勾配更新や微調整をしない。ただし、正解例を入力で与えることと、情報なしで解くことは同じではない。
表2.1には、1億2500万から1750億パラメータまで8種類のモデルが並ぶ。著者らは各モデルを3000億トークンで学習したと記す。評価対象には、文章補完、質問応答、翻訳、読解、簡単な算術などが含まれる。したがって一つの総合点だけで論文の結果を代表させることは難しい。
何が分かったか
多くの課題では、モデル規模が大きくなるほど少数例を与えた場合の成績が上がった。論文は翻訳や質問応答などで強い結果を報告する一方、少数例でも苦手なデータセットがあると明記する。特に、どんな課題でも例を数個渡せば正確に処理できる、という結論にはならない。
この研究で重要なのは、課題別の追加学習に加えて、入力の中で課題を指定する評価方法を本格的に比較した点だ。入力に与える例の数や形式は結果を左右する。少数例を与える方法は、重みを更新する微調整の費用を評価時に避けられる一方、巨大モデルの事前学習に必要な計算が消えるわけではない。
限界は何か
論文第5節は、長い文章での意味の繰り返し、整合性の低下、矛盾などを限界として挙げる。また、大規模なWeb文章を学習すると、評価用データと重なる可能性が生じる。第4節ではこの評価データ混入を検査し、問題のある結果の扱いを検討した。数値だけを切り出して、未知の業務文書でも同じ性能が出ると考えることはできない。
論文は差別的な偏りや文章生成の悪用可能性にも章を割く。言語モデルの出力が流暢であることは、事実性や公平性の証明ではない。報告された実験は2020年のモデル、データ、課題設定に関するもので、現在のサービスの品質保証ではない。
仕事との接点
業務で例を示してAIを使うなら、入力例の選び方と評価問題を固定し、例を変えたときのばらつきも見る。誤りの影響が大きい仕事では、人による確認と根拠の点検を組み込む。これはTRAIL編集部の提案であり、原論文が特定の業務での導入効果を実証した結果ではない。