- 埋め込み行列を分解し、Transformer層の重みを共有することでパラメータを減らした。
- BERT-largeに近い構成のALBERT-largeは、パラメータ数が約18分の1だった。
- 最良のALBERT-xxlargeの成績を、小型ALBERT-largeの成績と取り違えない。
何を確かめた研究か
BERT型モデルを大きくすると、語彙の埋め込みと多数の層でパラメータが増える。ALBERTは埋め込みの次元を隠れ状態の次元から切り離し、層をまたいで同じ重みを共有することで、容量の使い方を変えた。事前学習の文間関係には文順予測を使い、BERTの次文予測が話題の違いを手掛かりにできる問題も調べた。
どう検証したか
埋め込み行列の直接表現と分解表現、層ごとの独立重みと共有重みを比較した。GLUE、SQuAD、RACEなどで言語理解性能を測り、パラメータ数と学習時の処理速度も報告する。文順予測では同じ文章内で連続する二つの区間を正順・逆順にし、話題の違いだけで解けない文間関係を学ばせる。論文の比較にはサイズの近い構成と、性能を追求した大きめの構成の両方がある。
何が分かったか
§3と表2ではALBERT-largeが約1800万パラメータ、BERT-largeが約3億3400万で、約18分の1。論文は類似構成の学習が約1.7倍速いと報告する。ただし18分の1のパラメータが18倍速いことを意味しない。処理速度には共有重み以外の計算も含まれる。
最良設定のALBERT-xxlargeは約2億3300万パラメータで、RACE正解率89.4%、SQuAD 2.0のF1は92.2と報告された。これは1800万のALBERT-largeの値ではない。表3は同じBooksCorpusとWikipediaで12.5万ステップ事前学習した条件の比較も示し、構造差と追加の学習・データ差を区別する材料を与える。
限界は何か
パラメータ共有は保存サイズの削減に効くが、層ごとの計算そのものを無くさない。ベンチマークごとの調整、事前学習のデータやステップも結果に影響する。英語の読解・分類成績を、別言語や業務文書、リアルタイム推論での品質にそのまま移せない。
仕事との接点
端末やサーバーの制約でモデルを選ぶ場合、保存サイズ、メモリ、実測の応答時間、対象タスクの正答率を並べる。特に「小型版のサイズ」と「最大版の最高得点」を組み合わせた比較を避ける。