- SQuADはWikipediaの536記事を基に107,785件の質問と答えを集めた。
- 答えは与えられた段落内の連続した文字列で、初期の抽出型質問応答を測る。
- 第3版の表5ではロジスティック回帰モデルのF1が51.0、人手は86.8。評価条件を越えた「理解力」の尺度ではない。
何を確かめた研究か
SQuADは、文章を読んで質問に答えるモデルのために作られたデータセットだ。クラウドワーカーがWikipediaの記事を見て質問を作り、答えを同じ段落中の範囲として指定した。10万件超という規模と、答えの文字列を採点できる形式が特徴である。
どう検証したか
論文は107,785件の質問と答えを536記事から収集し、質問の種類を分析した。基準モデルは質問と文章の重なりを見る簡易法と、構文などの特徴を使うロジスティック回帰法である。人手にも同じ文章を見せ、別の注釈者の答えとの一致を測った。
採点は完全一致と語単位のF1を分ける。表5のF1を読むとき、答えの表現が多少違っても単語が重なる場合を含む点に注意が必要だ。
論文は答えの種類や質問で必要な推論も分析している。評価集合の規模が大きくても、質問の集め方が測る能力を決める。モデルが本文の言葉を照合できた場合と、言い換えを理解して答えた場合を同じF1だけから区別することはできない。
何が分かったか
表5のテスト集合で、簡易法のF1は20.0、ロジスティック回帰は51.0、人手は86.8だった。人手の値は多数決による理想的な正解率ではなく、別の人の回答との一致を基に測ったものだ。初期モデルと人の間に大きな差があり、研究を進める評価基盤となった。
限界は何か
質問者は答えがある記事を見て質問を作る。資料を探せない場合や、どの資料にも答えがない場合は、この設定では中心的に測れない。答えは本文の連続した範囲なので、複数資料の統合や長い説明を作る能力も別の評価が要る。Wikipediaの題材から企業文書へそのまま一般化できない。
仕事との接点
社内検索の質問応答を測るなら、まず「正しい資料を与えた場合」の読解と、「資料を自力で探す場合」の検索を分ける。回答不能の質問も入れ、根拠のない断定を記録する。これはSQuADの評価条件から導くTRAIL編集部の提案であり、論文が企業内検索を評価したわけではない。