- 文の順序を入れ替えたり語句のまとまりを隠したりし、元の文章を復元する。
- 双方向エンコーダーと左から右に書くデコーダーを一つの事前学習へ組み合わせた。
- XSum要約ではBARTのROUGE-1が45.14、ROUGE-2が22.27だった。
何を確かめた研究か
文章を理解するモデルと、文章を作るモデルは異なる事前学習を使うことが多かった。BARTは壊した文章を元へ戻す課題を使い、双方向に入力を読むエンコーダーと、一語ずつ出力するデコーダーを同時に学習した。単語単位の穴だけでなく、長さの異なる語句の穴や文順の入れ替えを試した。
どう検証したか
同程度の大きさと学習ステップをそろえた事前学習方式の比較で、穴埋めや並べ替えなどの組み合わせを調べた。その後、大型モデルをSQuAD、GLUE、CNN/DailyMail、XSum、翻訳などへ用途別調整して比較した。要約ではROUGEという参照要約との語句の重なりを中心に報告する。ROUGEが高くても事実関係の正しさを単独では保証しない。
何が分かったか
表3のXSumではBARTのROUGE-1/2/Lは45.14/22.27/37.25、CNN/DailyMailでは44.16/21.28/40.90だった。XSumは入力記事から短い抽象的な要約を作る性格が強く、CNN/DailyMailと値を直接比較して難易度の順位にはできない。論文はXSumの従来研究に対して約6 ROUGEの改善と説明するが、指標と比較手法を特定した主張だ。
表2ではBARTは同程度の学習資源のRoBERTaとSQuADやGLUEでおおむね同等と報告する。つまり生成のための構造を加えても、調べた理解課題で大きく落ちないことが論点である。翻訳実験では逆翻訳の基準に対しBLEUで1.1ポイント向上したが、対象言語と学習条件に依存する。
限界は何か
表の最高点は大きいモデルを各課題へ追加学習した結果で、事前学習モデルをそのまま使ったゼロショット性能ではない。ROUGEは要約の真偽や重要事項の欠落を十分に測らない。壊し方の比較も有限の候補であり、常に最適な破壊関数を見つけたわけではない。
仕事との接点
要約を仕事へ使うなら、自動指標だけでなく重要な数字・固有名詞・否定の保持を人が点検する。事前学習の種類よりも、対象文書の形式で追加学習・評価した結果を採用判断へ使う。