- ラベルのない書籍で次語予測を行い、その重みを用途別の教師あり学習へ移した。
- 12層のデコーダー型Transformerを、自然言語推論や読解など12課題で比較した。
- 論文は12課題中9課題で当時の最高結果を更新したと報告する。
何を確かめた研究か
用途ごとに正解ラベルを大量に作るのは高価だ。OpenAIの2018年の技術報告は、ラベルなし文章から一般的な言語パターンを学び、少量の追加学習で個別の仕事に使えるかを調べた。通称GPTの最初の研究にあたる。入力の並べ方を工夫し、モデルの基本構造を用途ごとに大きく変更しない点が主題だ。
どう検証したか
BooksCorpusの7000冊超の未出版書籍で、前の語から次の語を予測する事前学習を行った。モデルは12層、隠れ状態768次元、12注意ヘッドのデコーダー型Transformer。自然言語推論、質問応答、文の類似度、分類の12データセットでは、区切り記号や順序を使ってタスクに合う入力列を作り、教師ありで微調整した。基準手法との性能だけでなく、事前学習をしない場合などの切除実験も提示した。
ここでの「生成」は文章の次語予測という事前学習目的を指す。後の対話型製品の会話能力や指示追従を測った研究ではない。学習文書も書籍中心で、現実の企業文書の分布とは異なる。
何が分かったか
報告書の要旨と本文は12課題のうち9課題で従来最高を更新したと述べる。Story Clozeでは絶対値8.9ポイント、RACEでは5.7ポイント、MultiNLIでは1.5ポイント改善した。課題ごとに指標と比較対象が違うため、これらを平均して単一の汎用性能値にしない。
切除実験の表5は、事前学習なしでTransformerを教師あり学習する条件との比較を含む。事前学習した表現と、用途に合わせた微調整の組み合わせが当時の各タスクで有効だった。書籍を使った事前学習自体の寄与と、モデル容量・入力変換の寄与を完全に単独分離した実験ではない。
限界は何か
対象は2018年当時の英語データセットと比較モデルで、現代の多言語・長文・対話・安全性の性能を示さない。BooksCorpusの構成も業務ドメインとは異なる。9課題で従来最高という結果は、残る3課題を含めてすべてで勝ったという意味ではない。また同時期にはELMoやULMFiTなど別方式の転移研究もあり、事前学習と用途別調整を初めて示した研究だとは言えない。
仕事との接点
既存モデルを特定業務へ転用する時は、元の学習データと目的、用途ごとの入力形式、追加学習の有無を記録する。業務データでの検証を経ずに、歴史的なベンチマークの改善値を導入成果として扱わない。