- mT5はT5の文章から文章への形式を、多言語のmC4で事前学習した。
- mC4は101言語を対象とし、学習時の言語の選び方で大量の英語ばかりになる問題を和らげた。
- 英語だけで追加学習する条件と、対象言語への翻訳データも使う条件では評価の意味が違う。
何を確かめた研究か
英語で学んだ言語モデルを他の言語でも利用できるか。mT5の初版論文は、T5の「入力も出力も文章にする」考え方を多言語へ広げた。質問応答、文の分類、生成などを同じ形式で扱い、モデルの構造や事前学習を多言語向けに調整した。
事前学習のデータはCommon Crawl由来のmC4で、101言語のテキストを対象とする。収集された量をそのまま抽出すると、データ量の多い言語が学習を占める。論文は言語ごとの抽出確率を平滑化し、少ない言語にも学習の機会を与えた。多言語を列挙しただけで各言語の品質や量が等しいわけではない。
どう検証したか
論文はXNLI、PAWS-X、XQuAD、MLQA、TyDi QAなどを使い、文の関係判定と質問応答を測った。表2は二つの設定を分けている。一つは英語の正解データだけで追加学習して他言語へ移すゼロショット転移。もう一つは翻訳した正解データを対象言語にも用いるtranslate-trainである。
モデル規模もSmallからXXLまで異なり、表2のXXL行は当時75%まで学習した時点の結果である。比較した他方式は、別の対訳データや関連課題の正解データを使う場合がある。表中の順位を学習方式のみの因果効果と読むことはできない。
何が分かったか
表2の英語だけで追加学習したXNLIではmT5-XLは82.9%、XLM-Rは79.2%だった。mT5-XLのXQuADはF1 79.5、完全一致63.6で、XLM-Rは76.6と60.8だった。しかし同じゼロショット表のTyDi QA-GoldPではmT5-XLのF1 77.3に対し、別の追加データを利用した比較方式との条件が異なる。全課題で同じだけ勝つとは言えない。
translate-trainのXNLIではmT5-XLが84.8%、XQuADはF1 82.7だった。英語だけの設定より高いが、対象言語の翻訳データを使った結果である。事前学習の多言語能力と、追加学習データから得られた能力を混同しないことが大切だ。
限界は何か
mC4はWebからの収集と自動の言語判定に依存し、言語ごとの量と品質に偏りがある。本文表5でも言語間のデータ量の差は大きい。mT5の事前学習に101言語が入ることは、少資源言語の全用途で十分な品質を意味しない。英語だけの転移と翻訳を加える評価も、同じ利用条件ではない。
仕事との接点
日本語を含む複数言語のモデルを選ぶなら、対象の言語別に精度を測り、正解データをどの言語で使ったかを記録する。翻訳した学習データを作る費用も合わせて比較したい。これはmT5の評価区分から導くTRAIL編集部の提案であり、論文が特定の業務文書を評価したものではない。