- 区間ごとに処理するTransformerへ、前区間の隠れ状態を再利用する仕組みを加えた。
- WikiText-103のパープレキシティは、当時の最高20.5から18.3へ改善した。
- 長く保持できる情報と、実際に予測へ役立つ情報の長さは別の指標だ。
何を確かめた研究か
通常のTransformerを長文の言語モデルに使うと、計算のため文章を固定長の区間に分ける。区間の境界で前の情報が消え、文脈が途切れる。Transformer-XLは前区間の隠れ状態を次区間の注意計算に再利用し、相対位置を使って「今からどれだけ前か」を扱う。論文は、長い文脈を利用できるかと、言語モデルの予測を改善できるかを両方調べた。
どう検証したか
区間間の再帰メモリと相対位置表現を加え、WikiText-103、enwiki8、text8など語・文字単位の言語モデルで比較した。パープレキシティは次の語の予測の良さを測り、低いほど良い。文字データではbits per characterを使う。さらにテスト時に参照できる文脈長を変え、どの長さまで予測改善につながるかを切り分けた。前区間の隠れ状態は勾配を切って再利用するため、無制限に過去へ逆伝播する方法ではない。
何が分かったか
要旨と表1ではWikiText-103の従来最高パープレキシティ20.5に対しTransformer-XLは18.3。enwiki8のbits per characterも1.06から0.99になった。論文は測定した依存長がRNNより約80%、通常のTransformerより約450%長いと報告するが、これは評価手順で定義した有効依存長であり、任意の超長文を完全に記憶するという意味ではない。
切除実験では区間間の再帰と相対位置をそれぞれ外して比較した。単に入力窓を大きくするだけでなく、前区間の状態を位置の整合性を保って利用することが重要だった。別のコーパスでは長距離依存の量が変わり、メモリの長さを増やした効果も一定ではない。
限界は何か
メモリは過去の隠れ状態を保存するので、計算資源を使う。文脈が長くなるほど常に品質が上がるわけではなく、資料の種類や課題に左右される。ここでの結果は言語モデルの次語予測であり、長い契約書への質問に正しく答える能力を直接測っていない。
仕事との接点
長文を扱う仕組みを選ぶときは、名目の最大入力長だけでは判断しない。区間をまたぐ参照が必要な問題を作り、正答率、計算時間、メモリを同じ条件で測る。前半の情報が本当に後半の答えへ使われたかを確認する。