- 文章の続き四択で、言語モデルが簡単に消去できる偽の選択肢を取り除いた。
- v1表1の開発集合の総合正解率はBERT-Large46.7%、人間95.7%だった。
- 選別に使ったモデルへ難しい集合が、将来の全モデルにも難しいとは限らない。
何を確かめた研究か
常識推論の四択問題で高得点でも、選択肢の不自然な言い回しを見分けているだけかもしれない。HellaSwagは、実際の活動の説明文から続きの正解を取り、生成した偽の続きからモデルが簡単に区別できるものを反復して除く。人が理解できる自然さを保ちながら、当時の強いモデルに難しい集合を作る研究だ。
どう検証したか
ActivityNetとWikiHowの文脈から四択問題を作り、生成器が偽の終わりを提案する。BERTなどの判別器で簡単な偽例を除き、人による検証で自然すぎる誤選択肢や不適切な例を調整した。完成した集合を、文脈なしの解法、別のモデル、元データSWAG、人間と比較する。元の場面と異なるカテゴリーを使うゼロショット分割も含む。
何が分かったか
v1表1の開発集合での総合正解率はBERT-Large46.7%、人間95.7%。同表のテスト集合ではそれぞれ47.3%、95.6%だった。元のSWAGでは高得点だったモデルが、選択肢を選び直した集合で大きく下がった。論文は正解と偽例の文章だけを見て当てる偏りも分析し、見かけの高得点が常識的な場面理解を保証しないことを示した。
ただし差の全てを「常識能力の欠如」だけで説明することはできない。偽例を選ぶ判別器、生成器、元資料の表現に依存し、特定のモデルを狙った選別は別の形式の近道を残す可能性もある。人間の高得点は、この四択の自然さと問題の明確さを示す一方、自由回答の複雑な実務への一般化ではない。
限界は何か
評価集合は静的で、モデルが学習に取り込めば難しさは変わる。動画説明や手順文の英語に偏り、異なる文化や職場の常識を網羅しない。人とモデルの比較でも入力形式や経験は異なる。
この結果は、問題を難しくする過程も評価手法の一部であることを教える。人間に解ける例を残しつつ、モデルの表面手掛かりを排除したかを監査する必要がある。
仕事との接点
選択肢付きの社内評価を作るなら、誤選択肢だけを読んで答えが分からないか試す。作成に使ったモデルとは別のモデルと人でも点検し、自由文の実業務でも同じ失敗が起きるか追う。