- BigBirdは局所の窓、ランダムな接続、全体へつながる位置を組み合わせて疎な自己注意を作る。
- 初版論文のbaseモデル比較ではHotpotQAのjoint F1がRoBERTaの63.5、Longformerの64.4に対しBigBird-etcは67.8だった。
- 疎な注意は全語間の直接比較を常に保つわけではなく、論文自身が理論上の苦手な課題を示している。
何を確かめた研究か
長い文書ではTransformerの全語同士を見る自己注意がメモリの壁になる。BigBirdの初版論文は、接続を間引いても情報を文書全体へ伝えられる構成を調べた。近くを見る窓に加え、ランダムな遠隔接続と、全体を見る少数の位置を組み合わせる。
局所窓だけだと離れた証拠同士がつながりにくい。ランダムな接続は遠方への経路を作り、全体の位置は文書全体の情報を集める。論文は疎な接続により、通常の長さの二乗に増える注意計算をほぼ線形へ抑えると説明する。理論面でも表現力を示すが、実際のすべての計算が容易になるという保証ではない。
どう検証したか
言語モデルの事前学習に加え、HotpotQA、Natural Questions、TriviaQA、WikiHopなどの質問応答を測った。表4はbaseサイズの開発集合で、RoBERTa、Longformer、BigBirdの二種類の全体的な接続方式を比べる。HotpotQAは答えと根拠を合わせたjoint F1を使い、WikiHopは正解率を使う。
表3には事前学習の指標もある。BigBirdとLongformerは4,096トークン長、RoBERTaは512トークン長で、学習時のバッチサイズなども異なる。注意の配置だけを独立に変えた実験として全結果を読まない。
何が分かったか
表4のHotpotQA joint F1はRoBERTa 63.5、Longformer 64.4、BigBird-itc 67.7、BigBird-etc 67.8だった。TriviaQAのF1も74.3、75.2、79.5、78.7の順である。BigBirdの二方式でも課題によって順位は入れ替わり、「BigBird」という一値だけでは評価を表せない。
論文は同程度のハードウェアで従来より最大8倍長い入力を扱えると述べるが、これは実験で使った条件の範囲での主張である。入力を伸ばすだけで全ての質問の正確性が上がるわけではなく、表4の課題別の数値を合わせて判断する。
限界は何か
§3.4は疎な接続の理論上の限界を明記する。各語から最も離れたベクトルを探すような、全ての組み合わせを直接比べる課題では、全注意が少数の層でできる計算に疎な注意は多くの層を要する。理論上の表現力と、限られた層数や計算量での使いやすさは別だ。
また、論文の主な質問応答は英語の公開ベンチマークである。日本語の長文や社内文書、表を含む資料で同じ利点が出るかは評価していない。
仕事との接点
長文の検索・質問応答では、入力可能な語数の宣伝値だけでなく、遠い段落にまたがる根拠の正答率と処理費用を測る。これはBigBirdの比較と限界から導くTRAIL編集部の提案であり、業務文書での性能保証ではない。