- GraphRAGは、資料全体のテーマや傾向を尋ねる質問に対応するため、文書間の関係と群ごとの要約を使う。
- 論文第2版の二つのデータ集合では、従来型の検索RAGより回答の網羅性と多様性を高く評価された。
- 評価は主にLLMによる相対判定で、事実誤認の少なさやあらゆる文書への優位を示すものではない。
何を確かめた研究か
検索拡張生成（RAG）は、質問に似た文書片を見つけ、言語モデルに渡して答えを作る。特定の規程や発言を探すには向いていても、「この大量の資料に共通する論点は何か」という問いでは、一部の検索結果を全体の代表と取り違える恐れがある。GraphRAGの論文は、こうした資料全体を見渡す質問に、どのような索引と要約が役立つかを調べた。
提案法は、まず言語モデルで文書内の人物・組織などの要素と関係を抽出してグラフを作る。つながりの強い群を階層的に見つけ、群ごとの説明をあらかじめ生成する。質問時には複数の群の要約から部分回答を作り、最後に統合する。単に検索対象を増やすのではなく、質問前の索引作成にも処理を使う。
どう検証したか
研究チームは、約100万トークン規模のポッドキャスト書き起こしとニュース記事の二つの集合を使った。各集合について、資料全体の理解が必要な質問を125件生成し、従来型のベクトル検索RAG、元文書の直接要約、群の階層を変えたGraphRAGを比較した。
正解文が一つに定まらないため、回答を別の言語モデルに二つずつ見せ、網羅性、多様性、読者の判断を助ける度合いなどを判定した。さらに、回答から主張を抽出して数や種類を比較する補助評価も行った。これは回答同士の比較であり、原文の事実との完全一致を検査したものではない。
何が分かったか
第2版の図2と本文では、群の要約を使う全体向け手法が、従来型のベクトル検索RAGより網羅性と多様性で高い評価を得た。たとえばポッドキャスト集合での網羅性は、GraphRAGの設定によって従来型RAGに対する勝率が72〜79%。ニュース集合では72〜79%だった。これは125問の二者比較における判定の割合で、実務質問の正答率ではない。
一方、簡潔に質問へ答える「直接性」では従来型RAGが優位な比較もあり、読者の判断を助ける度合いの結果は混在した。GraphRAGがすべての品質で勝ったわけではない。また、群の階層を粗くすると質問ごとに処理するトークン数を抑えられるが、回答の詳細さとの取引がある。
限界は何か
評価した文書集合は二つで、質問も設定した利用者像から生成された。専門文書、頻繁に更新される規程、多言語の資料で同じ結果になるかは分からない。論文自身も、別分野への一般化と、回答中の作り話の割合を調べる必要を記している。
さらに、知識グラフと要約は元文書から言語モデルが生成する。抜けや誤りが索引に入れば、もっともらしい全体像が誤る可能性がある。論文が測ったのは主に回答の比較であり、出典の忠実さを保証する検査ではない。
仕事との接点
社内文書で「この規程は何か」を探す用途と、「全体として何が変わったか」をまとめる用途を分けて評価したい。後者にGraphRAG型の仕組みを使うなら、回答に含まれた論点の幅と同時に、各主張を元文書へたどれるか、索引作成・更新にどれほど費用がかかるかを確認する。これは論文の方法と限界を踏まえたTRAIL編集部の提案である。