- Longformerは近くの語を見る窓と、課題に応じて選ぶ全体的な注意を組み合わせる。
- 長さに対して二乗で増える通常の自己注意より扱いやすく、最大4,096トークンを一続きで処理する。
- RoBERTa-baseとの開発集合の比較ではWikiHopなどで改善したが、課題ごとの増分は異なる。
何を確かめた研究か
通常のTransformerの自己注意は、入力のどの語も他の全語を見るため、長さを増やすと計算とメモリが急増する。長文を切って処理すると、離れた段落の関係を見落としやすい。Longformerの初版論文は、長い文書を一度に扱う注意の配置を提案した。
各語は主に近くの語へ注意を向ける。一方、質問や分類用の特別な語など、課題に重要な位置には全体的な注意を与え、文書全体との情報交換を可能にする。窓の広さと全体的な注意を与える位置が設計上の選択になる。計算量を入力長にほぼ比例させる狙いだが、どの語を全体的に扱うかで性能は変わる。
どう検証したか
論文は文字単位の言語モデル実験に加え、RoBERTaから長文向けの事前学習を続けたモデルを、質問応答、照応解析、文書分類で評価した。長文のWikiHop、TriviaQA、HotpotQAなどで、一つの入力に質問と文書をつないで処理する。比較対象のRoBERTa-baseは通常512トークン長である。
表8は開発集合のLongformer-baseとRoBERTa-baseの結果である。指標はWikiHopとIMDBで正解率、TriviaQAなどでF1と、課題ごとに異なる。数値を一つの共通スコアとして平均しない。
何が分かったか
表8ではWikiHopはRoBERTa-baseの72.4からLongformer-baseの75.0、TriviaQAは74.3から75.2へ上がった。HotpotQAのjoint F1は63.5から64.4、HyperpartisanのF1は87.4から94.8だった。長文の構成に合う課題で大きく伸びる一方、すべての課題で同程度の差が出たわけではない。
論文は長い入力を扱うために位置表現を4,096まで拡張し、追加の事前学習も行った。したがって表8は注意機構だけを一つ変えた純粋な比較ではない。長文を切らずに扱うという構成全体の結果として読む。
限界は何か
局所的な窓だけでは遠くの語が直接やり取りできず、全体的な注意の位置選択が重要になる。長い文書でも入力長に上限はある。本文が長いというだけで、長文の中に根拠が分散する全ての課題に効くわけではない。事前学習と微調整の費用も、単純な入力上限の比較では見えない。
仕事との接点
長い契約書や報告書の質問応答を比べるなら、文書を切る基準、質問に注意を集める設計、根拠が離れた場合の正答を同条件で測る。これは論文の比較設計から導くTRAIL編集部の提案であり、特定の業務文書での効果を保証しない。