- DeBERTaは語の内容と相対位置を別の表現に分け、両者の関係を注意の計算に使う。
- 隠した語の復元でも絶対位置を加える設計を組み合わせ、GLUEの複数課題で既存モデルと比較した。
- 大きいモデルのMNLI開発集合では91.1%でRoBERTaの90.2%を上回るが、事前学習条件は完全に同一ではない。
何を確かめた研究か
文章中の「語の意味」と「どこにあるか」を単に足して一つの表現にすると、語同士の距離や順序の働きを分けて扱いにくい。DeBERTaの初版論文は、内容と相対位置を別々のベクトルとして保持し、注意を計算するときに両者を組み合わせた。
これにより、語の内容同士だけでなく、ある語の内容と別の語までの距離との関係を扱える。さらに隠した語を当てる復元部分では、絶対位置の情報を使う強化されたmask decoderを加えた。名前の「Decoding-enhanced」はこの復元側の変更も含む。
どう検証したか
論文はBERT、RoBERTa、XLNetと近い規模のモデルをGLUEの8課題で比較した。表1の数値は開発集合であり、MNLIの文間推論、RTE、MRPCなどは課題と指標が違う。大きいDeBERTaは390Mパラメータで、RoBERTa-largeの355M、XLNet-largeの340Mより多い。
事前学習ではWikipedia、BookCorpus、OpenWebText、Storiesを重複除去して約78GB使った。論文はRoBERTaとXLNetの約160GBや学習サンプルの通過回数と比較しているが、モデル、データ構成、学習手順が完全に同一というわけではない。構成要素ごとの除去実験と、モデル全体の比較を分けて読む。
何が分かったか
表1のMNLI-m/mmでDeBERTa-largeは91.1/91.1、RoBERTa-largeは90.2/90.2、XLNet-largeは90.8/90.8だった。RTEではDeBERTa 88.1、RoBERTa 86.6、XLNet 85.9。MRPCでは92.5、90.9、90.8である。一方、SST-2ではXLNetの97.0がDeBERTaの96.5より高く、すべての列で首位という結果ではない。
論文は内容と位置を分ける注意と、隠した語を復元するときの絶対位置の利用が、理解課題に有益だと示す。ただし表1の差にはモデル規模や学習方法の違いも含まれる。0.9ポイントのMNLI改善を、位置表現だけの単独効果と説明しない。
限界は何か
主な評価は英語の公開ベンチマークであり、長文の検索や日本語の業務文書での性能は直接測っていない。大きなモデルの比較は訓練条件の完全な統制実験ではない。指標が課題ごとに異なるため、課題間で単純に差を平均して選定することも難しい。
仕事との接点
日本語の分類や文の関係判定へ使うなら、自社の入力長と語彙に合う条件で既存モデルと比較する。事前学習と追加学習の費用も測る。これは原論文の比較上の留保から導くTRAIL編集部の提案であり、特定の業務での成績を保証しない。