- 合成した長い図表付き文書から、視覚言語モデルが根拠を拾えるかを調べた。
- 200レポート、1,788問の試験で、文書の中盤が難しいモデルが複数あった。
- 画像の解像度や判定器の選び方が結果に影響する。
何を確かめた研究か
実際の報告書には文章と図表が混在し、必要な根拠が何ページ目にあるかも分からない。SynthDocBenchは、文書の長さ、図表、答えの位置を制御した合成文書を作り、視覚言語モデルが長い文書を読める条件を調べた。
どう検証したか
200件の合成レポートを作成し、計1,788問を用意した。平均は51.1ページ、図表16.7点、約20,568語。対象モデルにはPDFのテキスト抽出結果ではなく、画像化したページを見せた。八つのモデルを比較し、回答はGPT-5の判定器が0〜10点で採点、6点以上を正解率として集計した。ページは五ページ単位の画像として渡し、解像度は144dpiだった。
合成データなら、答えに必要な図表や記述を文書のどこへ置いたか把握できる。長さや位置による失敗を見やすくする設計だ。一方、ページの画像化も実験条件であり、PDFから文字を直接抽出して検索する方式との比較ではない。
何が分かったか
表2の正解率はGemini 3.1 Proが72.5%、Qwen2.5-VL-7Bが8.1%で、モデル差が大きい。表4では八モデル中五モデルで文書の中ほどの三分の一に置いた答えが最も難しかった。ただし、位置の影響はモデルごとに異なり、全てのモデルが同じ落ち方をしたわけではない。長い文書の一部だけを確認して成功を判断すると、重要な場所の取りこぼしが見えにくい。
文書の途中で失敗しやすいという観察は、「長くなるほど常に一様に悪化する」という単純な主張ではない。どの位置の情報が難しいかはモデルと質問の条件によって違う。表4の五モデルという値は、八モデルを同じ条件で見たときの数である。論文要旨が「六モデル中五」と述べる点は本文と異なり、要旨だけを引用すると母数を誤る。
限界は何か
合成文書は位置や図表の影響を切り分けやすいが、実務文書の編集の癖や曖昧さを全て再現しない。正誤は主にAI判定器へ依存し、別のGemini判定器での照合は全体の傾向を補うものだ。画像の束ね方や解像度を変えた結果ではない。論文要旨のモデル数と位置効果の記述は本文の表2・表4と整合しないため、この記事では本文の表を根拠とした。
合成レポートは正解位置を知っているため診断しやすいが、現実の資料ではページ間の参照、版の違い、表の脚注、画像の品質などが重なる。また、回答を採点するGPT-5は実験対象モデルとは独立した人間の検証ではない。別の自動判定器との比較は示されていても、すべての回答の意味的な正しさが人手で確定したわけではない。
仕事との接点
社内資料をAIに読ませるなら、冒頭・中盤・末尾の根拠を含む質問を作り、元ページと回答を照合する。図表の読み違いと位置による見落としを別々に数える。これは研究設計から導く編集部の提案であり、72.5%を自社文書の正答率と予測するものではない。
回答を確認するときは、正答だけでなく、参照したページや図表を一緒に保存すると、位置による見落としと図表の誤読を分けやすい。論文の位置別分析は、そのような診断用の問いを作る手掛かりになる。