- XLNetは予測する語の順番を入れ替えて学習し、左右の文脈を扱う自己回帰型の事前学習を提案した。
- 論文は複数の言語理解課題でBERTを上回ると報告したが、最良モデルの学習文書量も異なる。
- 評価結果を使うときは、学習目的の違いとデータ・計算量の違いを分けて見る。
何を確かめた研究か
文章を左から右へ予測する従来の言語モデルは、単語の右側の文脈を直接使いにくい。一方、BERTのマスク語予測は左右の文脈を使えるが、学習時に現れる特殊なマスク記号は、実際の入力にはない。また、同時に隠した語同士の関係を学習目的が十分に捉えないという問題がある。XLNetの初版論文は、この二つの方式の長所を合わせられるかを考えた。
XLNetは文の語順そのものを無作為に並べ替えて読ませるわけではない。入力の元の位置は保ち、語を予測する順番を入れ替える。ある語を予測するとき、順番によってはその右側にある語も既知の文脈になる。多くの順番にわたる予測確率を高め、左右の文脈と予測対象同士の依存関係を学ぶ設計だ。
どう検証したか
論文は順番を入れ替える目的に加え、予測位置の情報を漏らさずに扱う二種類の注意の流れを設計した。さらにTransformer-XLの相対位置表現と再帰的な記憶を取り入れ、長い文章の処理に使った。提案の要素を分けた実験と、読解・自然言語推論・感情分析・検索順位付けなどの課題での比較を示す。
RACEのテスト集合では、同程度の規模のBERT-Largeが正解率72.0%、XLNetが81.75%だった。論文は20課題でBERTを上回ると述べる。ただし最良のXLNetは、BooksCorpusとWikipedia以外にGiga5、ClueWeb、Common Crawlも事前学習に使う。RACEの差を予測順の工夫だけの効果とは言えない。
何が分かったか
マスク記号なしでも、予測順を変えることで両方向の情報を学習に取り込めた。論文の切り分けでは、順番を入れ替える目的、Transformer-XLから取り入れた機構などが結果に寄与することを調べている。特に、二つの語を同時に予測するときに、片方をもう片方の予測の条件にできる点がBERT型の独立したマスク語予測との差である。
これは、すべての実務データでXLNetが優位という意味ではない。公開ベンチマークではモデル規模、入力長、学習文書、追加学習の手順が結果を左右する。論文中の比較を実際の利用へ移すなら、その条件をまとめて確かめる必要がある。
限界は何か
最良モデルの事前学習には大規模な英語文書と多数のTPUが使われた。学習を再現する負担は小さくない。性能差の一部には、学習データを増やした影響が含まれ得る。論文はBERTに近いデータでの切り分けも行うが、最良モデルの点数と混同しないことが重要だ。
評価は英語の公開課題が中心で、現在の日本語の文書や社内の長文、更新の多い情報での差は測っていない。読解課題で高得点でも、根拠を示す能力や事実の更新への対応までは証明されない。
仕事との接点
言語理解の基盤モデルを選ぶなら、問い合わせ分類や文章からの情報抽出など、実際の課題で同一データを使って比べる。学習済みモデルを使う場合も、推論速度、メモリ、必要な入力長を確認する。XLNetの論文は比較条件の読み方を教えてくれるが、採用判断は業務データでの追加評価を要する。これはTRAIL編集部の提案である。