- Contrieverは、質問と正解文書の組を人手で付けずに、対照学習で文書検索モデルを作った。
- BEIRの15データセットで、上位100件までの再現率をBM25と比較した。
- 「11データセットで上回った」はRecall@100の結果であり、上位10件の並びや全用途での優位を意味しない。
何を確かめた研究か
検索対象が新しい分野へ変わるたび、質問と正解文書を大量に作るのは難しい。単語の一致を使うBM25は、学習用の正解がなくても使える。一方、文書をベクトルへ写す密な検索は意味の近さを扱えるが、従来は大量の正解付きデータで学ぶことが多かった。Contrieverの原論文v1は、正解付き検索データなしでも密な検索モデルを実用的な水準まで学べるかを問う。
方法は、同じ文書から切り出した二つの部分を関連する組として扱い、無関係な文書の部分と区別する対照学習だ。著者らは切り出し方や負例の集め方を工夫し、検索で使うテキスト表現を学ばせた。ここでいう「教師なし」は、人が質問と正解文書の組を付けないことを指す。文書そのものは大量に必要である。
どう検証したか
BEIRの複数の検索データセットで、追加の正解付き学習をしない状態と、少数の正解を使う状態を分けて比べた。基準としてBM25を置き、Recall@100やnDCG@10を測った。Recall@100は正解文書が上位100件に入るかを捉え、nDCG@10は上位10件の順序を重視する。後段の回答モデルへ候補を渡す用途と、人が検索画面の先頭を見る用途では、意味の違う指標だ。
さらに、MS MARCOで追加学習する前の事前学習として使った場合を検討した。教師なしモデルそのものの成績と、正解付きデータでさらに調整した成績を一つにまとめてはいけない。論文の表も評価条件を分けて示す。
論文は同一文書から関連する二つの部分を作る方法も比較し、切り出し方が検索性能に影響することを示す。負例の数を増やす方法も設計上の要素だ。
何が分かったか
追加学習なしの比較では、BEIRの15データセットのうち11で、ContrieverのRecall@100がBM25を上回った。これは候補を広く拾う性能を示すが、上位数件が常に良いという意味ではない。nDCG@10ではデータセットごとの差があり、TREC-COVIDやTóuche-2020のようにBM25が強い例もある。少数の正解例やMS MARCOでの調整を加えると、別の改善も報告された。
この研究は、正解付き検索データの有無に応じて、密な検索を始める選択肢を増やした。密な検索がBM25をすべて置き換えるという結論ではない。
限界は何か
同じ文書の切り出し同士が似ていても、利用者の質問と正解文書の関係を完全に再現しない。専門用語や固有名詞の完全一致が重要な検索では、BM25が有利な場合もある。BEIRの題材、言語、文書の長さと、社内文書の分布が異なれば結果も変わる。ベクトル索引の更新と保存にも運用上の費用がかかる。
論文v1の題名は「Towards Unsupervised...」で、現在のarXiv概要ページに表示される後の題名と異なる。この記事はv1の本文と版履歴を照合した。後の改訂版の実験値を初版の結果として混ぜない。
仕事との接点
社内文書の検索なら、実際の質問と正解候補を小さくても用意し、上位10件の並びと上位100件への入り方を分けて測る。略語、製品名、日付を含む質問も入れる。これはTRAIL編集部の提案であり、原論文は各社の社内文書を評価していない。