- 複数の記事をまたいで答える質問と、その根拠になる文を集めた。
- 約11万3千件で、二つの正しい記事を含む条件とWikipedia全体から探す条件を分けた。
- 答えが合っていても根拠が合わない場合を別に評価できる。
何を確かめた研究か
一つの段落から答えの語を抜き出せる試験では、資料をまたぐ調査能力を測りにくい。HotpotQAの論文は、Wikipediaの複数記事を結び付けて答える質問を作り、根拠となる文も採点する。回答AIの「何を答えたか」と「どの文に基づいたか」を分ける設計だ。
どう検証したか
クラウドワーカーが二つの記事を参照して質問・答え・根拠文を作った。表1の全分割は112,779件で、要旨の113kは概数。比較質問も含めた。評価は二条件ある。distractor条件では正しい二記事に、検索で見つけた八つの紛らわしい記事を混ぜる。full wiki条件では正しい記事を指定せず、Wikipediaから検索して答える。両条件のテスト集合は別で、同じ質問を使った直接的な難易度差の推定ではない。モデルは答えと根拠文を出し、両方正しい場合のjoint指標も測る。
根拠文の採点を加えると、答えがたまたま一致した場合と、資料を適切にたどった場合を区別しやすい。joint F1は回答と根拠文の両方を要求するため、答えだけのF1より厳しい。ただし採点上の根拠文を当てることは、モデルの内部で人と同じ推論経路を通った証拠とは限らない。
何が分かったか
論文の基準モデルのテスト結果は、distractor条件で答えのF1が58.99、根拠文F1が66.62、joint F1が41.37だった。full wikiではそれぞれ34.40、40.69、17.85へ下がった。検索を含む条件では、答えと根拠を揃える難しさが増す。ただしテスト集合も異なるため、数値差を検索だけの因果効果と断定しない。根拠文を学習時に教える実験では回答も改善したが、モデルが真に理由を理解した証明ではない。
論文は、回答に必要な二記事を探す検索段階を評価へ組み込んだ。一方、distractor条件には正しい二記事が必ず含まれる。後段の読解の難しさを測るには便利だが、実際の調査で正解資料が検索候補に入らない失敗は、この条件だけでは表せない。full wiki条件を併記する理由はここにある。
限界は何か
資料はWikipediaであり、社内文書の版違いやアクセス権、更新途中の情報は含まれない。質問を作った人が二記事を見ているため、実際の利用者が何も知らずに尋ねる状況とは違う。論文には一記事だけで答えられる質問を減らす処理もあるが、全問が厳密な多段推論を要求するとは限らない。根拠文の正解にも人間の注釈の揺れがある。
仕事との接点
複数資料を使うAIの試験では、答えと根拠を同時に採点する。根拠資料をあらかじめ与えた場合と、自力で検索させた場合を分ければ、失敗の場所を見つけやすい。これは論文の方法から導く編集部の提案で、HotpotQAの点数を社内検索の成功率へ換算するものではない。
このデータセットには、比較対象の属性を二つの記事から取り出して比べる質問もある。単に名前を一つ探すだけでなく、候補を結び付ける必要がある。しかしWikipediaに固有の書式や知識に慣れたモデルが有利になり得るため、企業の資料調査へ移す際は独自の問題が必要だ。