- RoBERTaはBERTの事前学習を再検討し、学習条件を変えるだけでも評価結果が大きく変わることを示した。
- 主な変更は学習を長くしてデータとバッチを増やすこと、次文予測を外すこと、マスクを動的に変えることだ。
- 手法の優劣を論じる前に、比較したモデルのデータ量と学習条件を確かめたい。
何を確かめた研究か
新しい言語モデルがBERTを上回ったとき、その差はモデル構造の工夫から来たのか。それとも、より多くのデータや計算を使ったからなのか。RoBERTaの初版論文は、BERTの学習を再現し、設定を一つずつ変えて調べた。実験条件が異なる研究の点数を並べるだけでは、改善の原因を特定しにくいという問題意識がある。
RoBERTaはBERT型のマスク語予測を基礎にする。研究チームは学習を長くし、バッチを大きくし、学習文を増やす。さらに、文のつながりを判定する「次文予測」を外し、隠す語の位置を学習中に動的に変えた。モデル名は新しいものでも、中心は学習手順の再評価である。
どう検証したか
論文は元のBERTに近いデータ条件で、マスクの決め方や次文予測の有無、バッチサイズなどを比較する。その後、追加の大規模文書を含む条件でモデルを訓練し、GLUE、SQuAD、RACEを評価した。GLUEは複数の言語理解課題をまとめたベンチマークで、SQuADとRACEは異なる読解課題を測る。
比較には注意がいる。元のBERTと同じデータで手順だけを変える実験と、データ量も計算も増やした最良モデルの成績は、同じ因果関係を示さない。論文は両者を区別して提示している。次文予測を外しても元のBERTほど成績が下がらなかったという結果も、入力の作り方と学習条件を含む論文内の比較である。
何が分かったか
学習条件を整えると、従来のBERT型の目的でも強い結果が得られた。論文の最良モデルは公開GLUEリーダーボードで88.5を報告し、当時のXLNetの88.4と同水準だった。GLUEの九つの課題のうち四つで当時の最高成績を更新したと述べる。これはBERT型のマスク語予測が、そのまま時代遅れになったわけではないと示す。
動的マスクは、同じ文章を何度も使うときに別の箇所を隠せる。論文の小規模な切り分けでは静的な方法と同程度かやや良い成績であり、単独の変更が最終結果のすべてを説明するわけではない。大きなデータと長い学習が必要だった点も、最良成績の一部として読むべきだ。
限界は何か
評価対象は主として英語の学術ベンチマークである。日本語や特定分野の文書、実際の問い合わせで同じ性能差が出るとは言えない。大量の文書と計算を使える研究環境の結果を、限られた予算の運用にそのまま移すこともできない。
また、複数の学習条件を同時に改善した最終モデルの成績から、一つの変更だけの効果を取り出せない。論文の切り分け実験と最良モデルの結果を混同しないことが重要だ。後続の研究を比較するときも、データ重複や評価設定を確認する必要がある。
仕事との接点
文章分類や検索用の表現モデルを選ぶなら、まず同じ業務データと評価指標でBERT系の基準モデルを調整し、学習データ量と計算費用を記録する。そのうえで新しいモデルと比べれば、見かけの点数差を過大評価しにくい。これは論文の方法から導いたTRAIL編集部の提案であり、個別の業務での優位性を論文が測定したものではない。