- REALMは外部文書を検索して使う言語モデルを、マスクされた語の予測で事前学習する。
- オープンドメイン質問応答の3データセットで、当時の比較対象を上回る正確一致率を報告した。
- 文書索引の鮮度や検索対象の質は、実務へ移すときの別の検証項目になる。
何を確かめた研究か
言語モデルが知識を重みの中だけに蓄える場合、新しい情報を加えたり、どの資料を手掛かりにしたかを調べたりしにくい。REALMの初版論文は、外部の文章から関連するものを探す検索器を事前学習に組み込み、質問応答に使えるかを調べた。後段で検索結果を付け足すだけでなく、何を検索すればよいかを、言語の学習信号から育てるところが焦点だ。
モデルは文章の一部を隠し、候補文書を検索して参照しながら隠された語を予測する。よい候補を引けば予測に役立つため、その信号を検索器にも伝える。正解文書を個別に人手でラベル付けしなくても、検索と回答の組み合わせを事前学習できる設計である。
どう検証したか
論文は英語版Wikipediaの文章を検索対象に使い、Natural Questions-Open、WebQuestions、CuratedTRECの三つのオープンドメイン質問応答ベンチマークを評価した。評価は参照回答との正確一致である。Wikipediaを学習文にも使う設定と、CC-Newsを学習文に使いWikipediaを検索する設定の両方を示している。
検索は膨大な文書を毎回総当たりするのではなく、文書表現の索引から候補を見つける。検索器と文書表現を学習するため、索引の更新方法も結果に関わる。これは単に資料を接続すれば成立する方式ではなく、学習、索引、回答器を合わせて管理する方式だ。
何が分かったか
論文の表1で、Wikipediaを学習文と検索対象の両方に使ったREALMは、Natural Questions-Openで39.2%、WebQuestionsで40.2%、CuratedTRECで46.8%の正確一致率を示した。近い構成のORQAはそれぞれ33.3%、36.4%、30.1%だった。三つ目では差が16.7ポイントある。論文要旨の「4〜16%」という表現は比較対象や丸めを伴うため、ここでは表の組を明示する。
別の学習文CC-Newsを使う条件では、それぞれ40.4%、40.7%、42.9%だった。同じ手法でも学習文と検索対象の組み合わせで成績が変わる。表2の切り分け実験では、検索器の改善を取り除くとNatural Questions-Openの開発集合で成績が下がる。検索品質が回答品質の一部を支えていることを示す結果だ。
限界は何か
評価は英語の公開質問応答データセットに限られる。企業内文書、多言語、時々刻々と変わる情報で同じ成績が出るとは示していない。正確一致は回答の文字列が参照答えに合うかを測る指標で、説明の妥当性や誤情報の危険を網羅しない。
検索文書の索引が古いと、新しい情報をモデルへ渡しにくい。論文の切り分けでは、索引更新が大幅に遅れた条件で成績が落ちた。学習時に検索器を更新できても、運用時の資料更新や権限管理の仕組みまで論文が解決したわけではない。
仕事との接点
社内資料などを参照して答える仕組みを作るなら、検索器を固定したまま回答器だけを測らず、検索候補に正しい資料が入る割合も調べる。索引をいつ更新し、参照資料をどのように示すかも決めたい。これはREALMの結果を業務へ適用する際のTRAIL編集部の提案であり、個別の現場での有効性を論文が実証したものではない。