- UL2は通常の穴埋め、広い範囲の穴埋め、末尾を続ける課題を混ぜて事前学習する。
- 原論文はモデルの構造と学習目的を分けて比較し、追加学習と一例からの生成での差を示した。
- 個別の指標の勝敗は一定ではなく、特定の評価条件での平均だけを万能性と読み替えられない。
何を確かめた研究か
言語モデルの事前学習では、隠した文を埋める方式と、与えられた文の続きを予測する方式がよく使われる。両者の差をモデル構造の差と一緒に扱うと、成績の原因が分かりにくい。UL2の初版論文は学習目的を整理し、複数を混ぜるMixture-of-Denoisers（MoD）を提案した。
MoDは普通の範囲を隠すR、より長い範囲や高い割合を隠すX、入力の末尾を続けるSの三種を使う。学習課題を示す記号でモードを切り替える仕組みも加えた。いずれも文章から文章を作る課題として表せるため、論文はdecoder-onlyとencoder-decoderの両構造を調べている。
どう検証したか
小規模実験では同じ32Bトークンの事前学習のもと、構造ごとに学習目的を変えた。表2では理解課題への追加学習と、一例を示す生成課題を別々に評価する。decoder-onlyの167Mパラメータとencoder-decoderの335Mパラメータは計算量を合わせた比較だが、パラメータ数は同じではない。
その後、約19.5BパラメータのUL2を50以上の自然言語課題で評価した。大規模モデル同士の比較は学習データや計算条件が異なるため、小規模な目的関数の比較と同じ因果実験として扱わない。
何が分かったか
表2のencoder-decoder群では、UL2のSuperGLUE追加学習スコアは73.10で、通常のspan corruptionの72.00を上回った。一例を示すXSumの列でも11.51対7.49だった。一方、同じ表の追加学習XSumはUL2が31.86で、Prefix-LMの31.95をわずかに下回る。すべての列でUL2が首位という結果ではない。
decoder-only群でも、UL2のSuperGLUE追加学習は65.50で、span corruptionの67.67より低いが、一例を示すXSumは8.01で、比較した他の目的関数を上回る。理解と生成の間の得失があり、学習目的を混ぜることで一方に寄りすぎない構成を狙っている。
限界は何か
評価は論文が選んだ課題と英語中心の事前学習データに依存する。日本語や組織固有の文書で同じ差が出ることは検証していない。表2の構造間比較は計算量を合わせていてもパラメータ数が違い、実運用の保存容量や応答時間を同条件で比べたものでもない。
大規模モデルの結果では、学習データや計算配分が異なる先行モデルとの比較も含む。MoDだけで全改善が生じたと断定できるのは、統制した小規模実験の範囲に限られる。
仕事との接点
生成と分類の両方に使うモデルを選ぶなら、追加学習する場合と例示だけで使う場合の評価を分ける。日本語の実データ、応答時間、運用費を同じ条件で測ることが必要だ。これは論文の比較設計から導くTRAIL編集部の提案であり、業務での性能保証ではない。