- WebTextの大量のウェブページで次語予測を学習し、追加学習なしで別課題を試した。
- 最大15億パラメータのGPT-2は、8つの言語モデル集合のうち7つで当時の最高結果を報告した。
- 読解や要約の結果は、万能な指示追従能力を意味しない。
何を確かめた研究か
用途ごとの教師データを作らずに、文章の続きだけを学んだモデルが別の言語課題を解けるか。OpenAIの技術報告は、ウェブ上の文章を集めたWebTextでGPT-2を訓練し、質問応答、翻訳、要約、言語モデルなどへゼロショットで適用した。ここでのゼロショットは、評価課題専用のパラメータ更新をしないという意味で、入力の形式を一切設計しないという意味ではない。
どう検証したか
複数のモデルサイズを学習し、規模を増やした時の各課題の変化を比べた。言語モデルでは、異なるコーパスの次語予測を、課題ごとの正規化単位に合わせて評価した。CoQAでは文書と質問を入力し、生成した回答のF1を測る。研究は学習データと評価集合で8トークンの連続列が一致する割合も調べ、重複が結果に影響する可能性を検討した。
何が分かったか
要旨と表3によれば最大モデルは15億パラメータで、8つの言語モデル集合のうち7つで当時の最高点を出した。例えばWikiText-103のパープレキシティは17.48で、表にある従来値18.3を下回る。CoQA開発集合ではF1が55で、比較した4基準のうち3つと同等以上だった。ただしCoQAの12万7000件超の訓練例を直接使わなかった条件であり、現在の対話システムの品質とは別の評価だ。
報告書はモデルがWebTextをまだ十分に学び切っていないとも述べる。言語モデルでの改善と、翻訳・要約などでの実用的な正確さは一致しない。§4は評価集合とWebTextの重複を調べ、一部の課題では重複による汚染リスクがあると注意する。
限界は何か
WebTextはリンクの選ばれ方に偏り、言語や分野を網羅しない。自動的な続きの生成には、根拠のない内容や不適切な表現が混じり得る。ベンチマークの結果は英語中心で、長い仕事の指示を安定して遂行する能力を測っていない。後年のGPT製品の性能をこの報告から逆算できない。
仕事との接点
用途別の学習をしないモデルを採用するなら、入力例の与え方を固定し、課題ごとの正答・誤答と学習資料との重複を点検する。文章が自然に見えることと、必要な情報が正しいことを別に検証する。