- SQuADの質問に、人が作った答えのない質問を加えた評価集合を作った。
- DocQA＋ELMoのテストF1はSQuAD 1.1で85.8、SQuAD 2.0で66.3だった。
- 誤答を避けるには、答えの抽出と回答保留を同時に判断する必要がある。
何を確かめた研究か
文章読解の評価では、質問に答えが含まれている前提なら、モデルはもっともらしい語句を必ず選べばよい。SQuAD 2.0は、文章と関係はあるが答えはない質問を入れて、その前提を崩した。AIが知識不足を表明できるかを、回答可能な問題の性能と一緒に測るためのデータセットだ。
どう検証したか
元のSQuAD 1.1の記事と回答可能な質問を土台に、クラウドワーカーが段落を読んで、語句の入れ替えだけでは解けない、もっともらしい無回答質問を作った。表2の訓練集合は13万319件で、回答不能質問は4万3498件を含む。5万3775件は訓練・開発・テストを合わせた回答不能質問の合計だ。元データと同じ記事分割を使い、回答可能な質問と不能な質問の両方を評価する。無回答問題では「答えなし」とする時だけ満点になり、任意の文章を抜き出せば0点となる。
評価モデルは回答候補の位置だけでなく、回答不能である確率も学習し、しきい値で保留を判断する。人間評価も用意し、当時のモデルとの残差を見た。自動生成した無回答問題との比較も行い、人が作った例の難しさを確かめた。
何が分かったか
表3のテスト集合でDocQA＋ELMoのF1はSQuAD 1.1の85.8からSQuAD 2.0の66.3へ下がった。人間は同じ表で91.2と89.5だった。SQuAD 2.0の人間とモデルの差は23.2ポイントで、元データの5.4ポイントより大きい。これは当時の比較モデルとデータ条件での差であり、現在の全モデルに共通する能力の上限ではない。
表4では自動生成の無回答問題で学習した場合より、人が書いたSQuAD 2.0の開発集合で点が低い。単に否定語を入れた問題や別段落からの自動選択では、もっともらしい無回答を十分に再現しないことを示した。正答率だけでなく、保留の誤りを調べる評価の価値がある。
限界は何か
SQuADは与えられた段落内の読解であり、外部検索を伴う業務の真偽確認や、多数文書の更新を直接測っていない。「答えなし」も段落内に答えがないという注釈で、世界に答えが存在しないという意味ではない。質問作成や注釈の品質も人間の判断に依存する。
仕事との接点
文書QAを使うなら、答えがある質問だけのテストでは過信する。関連文書に答えがない例を意図的に入れ、誤って断言する率と、答えられるのに保留する率を別に測る。回答保留のしきい値は用途の失敗費用に合わせて決める。