- Winograd型の代名詞選択問題を約4万4千件へ拡大した。
- 偏り除去後の2万5680件では、v1表4のテスト正解率がBERT-seqft61.6%、人90.8%だった。
- 人に易しいことと、選択肢の表面手掛かりがないことを別に検証した。
何を確かめた研究か
「それ」が二つの候補のどちらを指すかは、語の共起だけでなく場面の常識を必要とする場合がある。WinoGrandeは、少数のWinograd Schema問題を大規模にし、データの癖だけで答えられる近道を減らして、モデルの常識的な照応解決を測ろうとした。既存集合に隠れた偏りも分析する。
どう検証したか
クラウドワーカーが二択の空欄補完問題を作り、人が解けるかを確認した。約4万4千件の元集合から、モデルの表現を使って偏りが強い例を除くAF-Liteで2万5680件の偏り除去版を構成した。BERT、GPT、語の関連性に基づく方式、人を比較し、答えの周辺だけを使う基準も試した。偏りを除く操作は問題の分布を変えるため、元集合の成績とそのまま同一視できない。
何が分かったか
固定v1の表4で、偏り除去版のテスト正解率はBERT-seqft61.6%、人間90.8%。無作為は50.0%。局所文脈だけを使う方式は54.1%または55.4%で、十分な手掛かりにはならなかった。人の90.8%は注釈者集団と二択形式での値であり、現実の会話を完全に解釈する能力ではない。
論文は既存のWinograd関連集合で、想定外の統計的偏りが利用され得ると報告する。偏り除去後もBERTの性能が完全な偶然水準ではないため、なお別の近道や実際の推論が混在する可能性がある。点数だけからモデルの内部推論を断定しない。
限界は何か
英語の二択文であり、多言語や長い対話の照応を網羅しない。偏り除去に特定のモデル表現を使うため、別のモデルから見た近道が残り得る。モデルが問題集合を学習に取り込めば難易度も変わる。
この研究は、評価問題を増やすだけでは偏りがなくならず、問題の作り方そのものを検査する必要があることを示した。
仕事との接点
職場のAI評価で「誰が何をしたか」を問うなら、氏名や役職の出現頻度だけで解けない対照問題を作る。候補の位置を入れ替え、別の話題でも成績が続くかを確認する。