- 事前学習した言語モデルを文章分類へ移す、段階的な再学習方法を提案した。
- 六つの分類データで当時の比較手法を上回り、少量ラベル条件も検証した。
- 100件で100倍のデータに匹敵するという表現には、追加のラベルなし文書を使う条件がある。
何を確かめた研究か
文章分類の正解データを大量に作るのは高くつく。ULMFiTの論文は、一般の文章から学んだ言語モデルを、少量の正解例しかない課題へ移せるかを検証した。単語表現だけを借りるのではなく、言語モデル全体を段階的に調整する点が研究の中心だ。
どう検証したか
一般文書で言語モデルを事前学習し、対象の文章で言語モデルを調整してから、分類器を学習する。層によって学習率を変える、学習率を一度上げて下げる、上層から順に凍結を解除するなどの工夫で、元の知識を急に壊さないようにした。IMDb、TREC-6、AGニュース、DBpedia、Yelpの二種類、計六つの分類データで比較した。感情、質問の種類、話題の分類が含まれる。
事前学習済みの知識を保ったまま対象分野に寄せるため、学習率を層別にし、上の層から順に学習対象を広げる。これはモデルを一度に大きく動かしてしまう問題への対処だ。最終的な分類器だけを変える方式とも、全層を同じ率で最初から学び直す方式とも異なる。論文は各工夫の寄与を別に調べている。
何が分かったか
表2ではIMDbのテスト誤り率が4.6%、TREC-6が3.6%。表3ではAGニュース5.01%、DBpedia0.80%、Yelp二値2.16%、Yelp五値29.98%だった。いずれも各表の比較法を上回るが、誤り率の下がり方は課題ごとに違う。100件のラベル付き例を使う分析では、ラベル付き文書だけで調整した場合、IMDbでゼロからの学習に比べ約10倍、AGで約20倍のラベル数を使う条件と同程度だった。さらにラベルなしの対象文書をIMDbで5万件、AGで10万件使うと、それぞれ約100倍、約50倍のラベル数を使う条件と同程度になった。
誤り率は低いほど良い。IMDbの4.6%とYelp五値の29.98%は、課題のラベル数や文章の性質が異なるため横に並べてモデルの得意不得意を単純に比べられない。比較すべき相手は、それぞれの課題の同じテスト集合で評価した基準法である。
限界は何か
「100件で100倍」は、少量ラベルだけの効果ではない。対象分野のラベルなし文書を利用する条件と、どのデータでの比較かを添える必要がある。六つの課題は英語の分類であり、生成、翻訳、日本語の社内分類へ直接外挿はできない。比較手法の事前学習や学習条件も完全には揃わず、結果は当時の構成での差だ。
仕事との接点
社内の問い合わせ分類などに応用を考えるなら、ラベル付き文書とラベルなし文書を分けて数える。ラベルなし文書を利用できる範囲、事前学習モデルの出自、対象分野の変化を確認し、同じ評価集合でゼロからの学習と比べる。これは研究から導く編集部の提案で、表2・3の誤り率を自社の期待値には使わない。
当時の比較は「分類を最初から学ぶ」方法との比較である。現代の大規模モデルに同じ手法を適用した効果の検証ではない。それでも、ラベルなしの対象文書を使えるかが少量ラベルの結果を左右するという教訓は、現在の実験計画にも通じる。