- MS MARCOはBingの検索ログから約101万件の匿名化した質問を集めた。
- 第3版の要旨は人手で書き直した回答182,669件、候補文8,841,823件を報告する。質問数と人手回答数は同じではない。
- 候補文に答えがない質問も含み、読解、回答生成、文書順位付けを別の課題にした。
何を確かめた研究か
質問応答のデータセットには、答えのある文章を見て作った質問が多い。MS MARCOの論文は、実際の検索ログから匿名化した質問を取り、検索で得たWeb文書の候補文と組み合わせた。利用者の質問が先にあり、資料が足りない場合もある設定を扱う。
どう検証したか
第3版の要旨には質問1,010,916件、Web文書3,563,535件から取り出した候補文8,841,823件、人手で書き直した回答182,669件とある。質問と候補文を見た編集者は、答えられない場合をそのように印付けできる。全質問に同じ形式の人手回答が一件ずつあると読んではいけない。
論文は、候補文から答えを探す読解、自然な回答を作る生成、候補文を質問に対して順位付けする検索の三課題を示す。同じ「質問応答」の名でも、検索と回答のどちらを測るかで失敗の意味が変わる。
何が分かったか
検索ログに由来する質問と回答不能の例を含めたことで、文章内に答えが必ずある抽出型の試験より現実の検索に近い条件を作った。候補文はBingが取得したWeb文書に依存するため、回答モデルが正しくても検索に必要な資料が含まれなければ失敗する。逆に、検索で有益な文書を見つけても生成した回答が誤る場合がある。
一つの総合点だけで改善を判断するより、回答可能性、候補文の順位、回答の内容を分けて測る意義がある。第3版には検索用の追加データに関する記述もあり、初公開時と同じ規模・課題のままとは限らない。
限界は何か
検索ログは実際の利用者に近い一方、Bingを使う人の分布や当時のWeb文書に偏る。質問の匿名化は行っていても、社内資料の権限管理や更新履歴は再現しない。人手の回答も一部の質問に限られるため、101万件の全てを同じ質の生成回答正解として使うことはできない。
仕事との接点
社内検索と回答生成を一体で試すなら、資料が存在しない質問、検索に失敗した質問、検索後に誤答した質問を分ける。これは論文の三課題設計から導くTRAIL編集部の提案であり、MS MARCOの成績を自社検索へ換算するものではない。