- Wikipedia由来の18万5445件の主張を、支持・反証・情報不足に分けた。
- 支持・反証には、判断に必要な根拠文も記録した。
- 基準システムのテスト正解率はラベルだけなら50.91%、正しい根拠も必要なら31.87%だった。
何を確かめた研究か
文章の主張が正しいかを判定するには、同じ主張を言い換えた文を読むだけでは足りない。関連する資料を探し、支持または反証する文を特定する必要がある。FEVERは、検索を含む事実検証を評価するため、Wikipediaをもとに大量の主張と証拠を整えた研究だ。分類ラベルだけを当てる場合と、根拠まで示す場合を分ける点に特徴がある。
どう検証したか
作業者がWikipediaの文を変えて主張を作り、別の作業者が元の文を知らずにWikipediaで確認した。ラベルはSUPPORTED、REFUTED、NOT ENOUGH INFOの三種。支持または反証できる時は、判断に必要な文の組も記録する。情報不足は「現実世界で偽」と同じ意味ではなく、使ったWikipedia資料からは結論を出せない区分だ。注釈者間の一致はFleissのκで0.6841と報告された。
基準システムは、関連文書を探し、文を選び、自然言語推論で分類する段階的な構成だ。論文は検索結果の品質、正しい証拠を与える理想条件、全工程を通した成績を分けて測った。検索した文書が正しくても、必要な文の組が揃わなければ根拠付き正解にならない。
何が分かったか
固定v1の本文§5.7では、テスト集合に対する全工程システムはラベルのみの正解率が50.91%、正しい根拠文も要求すると31.87%だった。開発集合の表5ではLSTMのNEAREST P構成が、ラベルのみ52.09%、根拠込み32.57%。この差は「分類器だけが弱い」とは言えず、文書検索と文選択の失敗も含む。検索を除いた理想条件での分類成績と、現実の全工程を混ぜて評価しないことが必要だ。
情報不足を独立の選択肢としたことで、証拠の見つからない主張を無理に真偽二値へ押し込まずに済む。ただし三分類の成績も、Wikipediaの版、主張の作り方、根拠文の注釈に依存する。高いラベル正解率が高い説明可能性を保証するわけではない。
限界は何か
主張は実際のニュースから無作為抽出したものではなく、Wikipedia文の改変から生まれた。根拠資料もWikipediaに限定される。注釈一致が完全ではないため、真偽や必要証拠が一義的でない例もあり得る。基準システムの31.87%を現在のモデルの能力値とみなすことはできない。
仕事との接点
社内資料や公開情報の確認AIでは、判定ラベルと参照文書・文番号を別に記録する。支持・反証・資料不足の区別と、必要な根拠が揃った割合を同時に見る。FEVERの数値は、その評価設計が必要な理由を示す歴史的な比較だ。