- GLUEで上がった平均点の先に、難しい言語理解課題を集め直した。
- v1表3の予備的な平均はBERT66.6、BERT++69.7、人間推定89.6だった。
- v1本文は七課題と書く一方、表1・3で確認できるのは六課題である。
何を確かめた研究か
同じベンチマークで高得点が続くと、数値が上がっても言語理解の弱点が残っているか判断しにくい。SuperGLUEのv1原稿は、GLUEで残った弱点を踏まえ、人には解きやすく当時のモデルには難しい課題を中心に評価集合を設計した。各課題の指標と人間推定値を示し、平均点だけでは見えない差を探る。
どう検証したか
文の含意、代名詞の照応、常識的な選択、語義などの候補課題を、ライセンス、問題形式、人の解きやすさ、BERT基準との隔たりで選んだ。多数の研究者からの提案も受けた。結果の表ではBERTと、その追加調整を行ったBERT++、最頻クラス、人間推定を比較する。平均点はデータ件数による重みを付けず、各課題の得点を等しく扱う。
固定したv1には編集上の不一致がある。§3は「七課題」と記すが、表1・表3に現れるのはCB、COPA、MultiRC、RTE、WiC、WSCの六課題だ。そのためこの記事は後の版の八課題構成をv1の実験結果へ混ぜず、表で確認できる数値に限って説明する。
何が分かったか
表3の予備的テスト結果で、BERTの平均は66.6、BERT++は69.7、人間推定は89.6。WSCではBERTとBERT++が68.5、人間は100.0だった。ただしWSCのテスト件数は表1で146件と小さく、人間100%を一般的な会話の完全理解とは解釈できない。MultiRCは複数の正答候補のF1と質問単位の完全一致を併用し、単一の正解率だけで表せない。
限界は何か
v1の課題数と表の不一致に加え、表3は予備的な結果であり、後の公式ベンチマークの定義や順位とは異なる。人間基準は有限の注釈者とサンプルに基づく。平均得点の変化だけでは、どの推論能力が改善したかまでは特定できない。
仕事との接点
複数の仕事をAIに任せる評価でも、平均点だけで導入を決めない。確認が必要な業務ごとに失敗費用と基準を決め、特に人には易しいがモデルには難しい例を別に集める。評価集合自体の版管理も必要だ。