- RULERは、長い入力から一つの情報を探すだけでなく、複数の手掛かりを追い、集める力を測る評価だ。
- 論文第3版は17モデルを13課題で調べ、公称文脈長と課題成績の差を示した。
- 「有効な長さ」はこの人工課題と論文の閾値で定義され、あらゆる文書仕事に共通する上限ではない。
何を確かめた研究か
AIモデルが「長い文脈に対応」と説明されても、その長さの文書を正確に理解できるとは限らない。よく使われるneedle-in-a-haystack試験は、長文の中に埋め込んだ一つの情報を取り出せるかを見る。会議録全体の傾向を集計する、複数の箇所をつないで答える、といった作業までは十分に測れない。
RULERの論文は、入力の長さと課題の複雑さを変えられる合成ベンチマークを作り、「モデルが扱える文脈長」という表示と、実際に課題を解ける長さの関係を調べた。
どう検証したか
RULERは、情報の検索、複数段の参照、集計、質問応答の4種類を含む。論文は代表的な13課題を選び、各課題について入力長4Kから128Kトークンまで、長さごとに500例を生成した。17の長文対応モデルを比較し、13課題の平均正答率を長さごとに示す。合成問題なので、必要な情報の置き方や妨害文の量を操作できる。
論文が「有効文脈長」と呼ぶのは、Llama 2 7Bが4Kトークンで得た平均85.6%を上回る最大の長さだ。85.6%は一般的な合格基準ではなく、この研究が比較のために置いた閾値である。モデルが公開している最大入力長とは意味が違う。
何が分かったか
第3版の表3では、公称128KのGPT-4はこの定義で64K、公称128KのQwen2 72Bは32Kだった。一方、公称100万トークンのGemini 1.5 Proは、試した最大長128Kでも閾値を上回り、有効長は「128K超」と記された。したがって、すべてのモデルが公称長より低いと一括りにはできない。
論文が重視するのは、単純な情報発見ではほぼ正解するモデルでも、参照をたどる、頻出情報を集計する、妨害文のある質問に答える課題では、入力が長くなるにつれ成績が落ちることだ。第3版の要旨は、32K以上をうたう17モデルのうち、32Kで研究上の閾値を維持できたのは半数と述べる。長文を送れることと、必要な作業を完了できることは別だ。
限界は何か
RULERの多くは自動生成された課題である。実際の契約書、社内文書、議事録などに含まれる曖昧さや、誤った資料を見分ける作業をそのまま再現してはいない。研究は回答の有無を測りやすい形式を使うため、実際の業務で重要な引用の正確さや判断の妥当性も別に確認が要る。
有効長は比較対象と閾値の選び方で変わる。モデルや設定も2024年のものだ。表の順位を現在の製品選定にそのまま転用するのではなく、長さと質問の種類を組み合わせて測る方法として読むのが適切だ。
仕事との接点
大量の資料をAIに読ませるなら、対象文書の長さだけを決めず、何を答えてほしいかも分類したい。単一の事実を探す、複数の証拠をつなぐ、全体を要約・集計する、という課題を実際の資料で作り、入力長を伸ばしたときの誤答を確認する。これはRULERの設計から導いたTRAIL編集部の提案であり、論文が特定企業の文書業務を評価した結果ではない。