- 一つの文章課題への適合だけでなく、九つの英文理解課題を横断して評価した。
- 小規模データを含む課題と、言語現象を狙った診断問題を用意した。
- 平均点が高くても、否定や論理構造など特定の弱点は残り得る。
何を確かめた研究か
ある文章分類の点数が高くても、別の文章理解へ移れるかは分からない。GLUEの論文は、異なる言語理解課題をまとめて評価し、モデルが知識を共有できるかを測る基盤を提案した。2018年に初公開され、この記事は後に更新されたv3本文を参照する。
どう検証したか
文の文法性、感情、言い換え、類似、自然言語推論など九つの英語課題を集めた。訓練データが多い課題と少ない課題を混ぜ、課題間で知識を共有する動機を作った。総合点のほか、専門家が言語現象を選んで書いた診断セットで、モデルの弱点を調べる。基礎モデルとして、課題ごとに別々に訓練する方式、複数課題で一部の重みを共有する方式、事前学習した文表現を使う方式を比較した。
GLUEの総合点は、性質の違う九課題の成績をまとめたものだ。たとえばCoLAは文法性をMatthews相関で測り、STS-Bは文章の類似度を相関係数で測る。同じ「点数」という表記でも中身が違う。各課題の値を先に確認してから総合点を見ることで、一つの苦手課題を平均が隠していないか判断できる。
何が分かったか
表4では、ELMoを使う複数課題モデルの総合点が67.7で、同じELMo入りの単一課題学習66.4より少し高い。ただし、課題によって差の向きは異なる。論文は単純な複数課題化だけで大幅な改善が得られるとは結論しない。たとえば当時のモデルはWNLIで最多クラスを答える基準65.1%を超えず、表4ではこの基準値を代入した。診断セットでは、総合点からは見えない否定や論理関係の誤りも観察された。
診断セットは、通常の課題のような無作為標本ではない。専門家が否定、数量、含意などを狙って作った問題を使うので、「一般の文章で何割失敗するか」は推定できない。その代わり、どの種類の言語現象で誤りが起きるかを調べられる。論文は診断結果を、総合点とは別の分析道具として扱っている。
限界は何か
九課題は英語の文・文対が中心で、長文調査や業務の意思決定を丸ごと測らない。診断問題は言語現象を狙って人が選んでおり、現実の文章の出現頻度を代表しない。指標も課題ごとに異なり、総合点は単純な「言語理解率」ではない。v3は2019年の改訂で、2018年初公開の研究を後年の本文で読んでいる点も区別したい。
仕事との接点
社内文章のAI評価でも、一種類の分類や質問だけで判断しない。代表的な業務課題を複数用意し、総合値と重大な弱点の両方を記録する。診断問題は実際に困る否定、条件、指示の読み違いを狙って設計する。これはGLUEの評価思想を応用した編集部の提案で、表4の数値を現在の日本語モデルの性能には置き換えない。
表4では、注意機構とELMoを併用した複数課題モデルの総合点は70.0と最も高い。ただし複数の変更を合わせた条件であり、70.0と単純な基礎モデルとの差を複数課題学習だけの効果とは呼べない。比較したい要因を一つずつ揃える必要がある。