- この研究は、長い入力の中で正解の根拠がどこに置かれるかによって回答が変わるかを調べた。
- 複数文書での質問応答と、単純なキー・値の検索で、位置と入力の長さを制御した。
- 論文が示すのは評価したモデルでの位置効果であり、すべてのAIの限界を決めたものではない。
何を確かめた研究か
AIが長い文章を一度に入力できても、その中の必要な情報を確実に使えるとは限らない。検索した資料をまとめて渡す質問応答では、関連する一段落が多くの文書に埋もれる。Lost in the Middleの原論文は、正解の根拠を置く位置だけを変えると、モデルの回答がどう変わるかを調べた。
焦点は「入力可能な文字数」よりも「与えられた情報を使えるか」である。長い入力を受け付けるモデルでも、先頭、中間、末尾を同じように読めるとは限らない。論文はその違いを、実際の質問応答に近い課題と、内容理解をほぼ必要としない課題の両方で測る。
どう検証したか
一つ目は複数文書を渡す質問応答だ。Natural Questions由来の質問を使い、答えを含むWikipediaの文章を一つ、答えを含まない文章を複数置く。正解の文章を前、中、後ろへ移し、文書の数も変える。答えが含まれる資料自体は同じなので、位置の影響を比べやすい。論文は文書を与えない場合と、正解文書だけを与える場合も比較対象にした。
二つ目はJSON形式のキーと値を並べ、指定したキーの値を取り出す課題だ。文章の意味を推論する前に、入力中から対応する箇所を探せるかを見る。著者らは項目数と正解の位置を変えた。複数文書の課題だけで起きる現象か、単純な検索でも起きる現象かを切り分けるための設計である。
何が分かったか
多くの評価モデルでは、正解の文書が先頭または末尾にあるときに成績が高く、中間にあると低下した。論文の図5は複数文書の質問応答でこの傾向を示す。文書を増やすと平均の成績が下がる傾向も見られた。キー・値の課題でも中間の情報を取り出しにくいモデルがあり、現象は複雑な読解だけに限られなかった。
ただし、すべてのモデルが同じ形の曲線になるわけではない。キー・値の課題をほぼ完全に解くモデルもあった。入力長の上限を拡張したモデルが、長い入力を使う点で必ず優れるとも論文は示していない。性能はモデル、課題、入力の長さ、正解を置く位置を一組として読む必要がある。
限界は何か
実験では正解の文書が一つに決まるよう、入力を制御した。実際の業務資料には矛盾する記述、更新前後の版、複数の根拠が必要な質問がある。論文の位置効果を、そうした状況での誤答率へそのまま換算できない。モデルも論文執筆時に利用できたものに限られ、後のモデルが同じ弱点を持つとは限らない。
また、文書の並べ順を変えることで利用者の質問との関連度も変わり得る。正解の根拠を先頭に置けば常に十分、という運用ルールを導いた研究ではない。
仕事との接点
検索した文書をAIへ渡すなら、文書数と並べ順を変え、正しい根拠が前・中・後ろにある質問をそれぞれ用意して測る。答えだけでなく、引用した箇所が正しいかも確認する。これはTRAIL編集部の評価提案であり、原論文が日本語の社内文書システムでの対策効果を測ったものではない。