- LiveBenchは、評価問題がモデルの学習データへ混ざる危険を減らすため、新しい問題への更新を設計に組み込んだ。
- 数学、コード、推論など六分野を、正解に照らして自動採点する。第2版の比較結果は当時のモデルと問題集合に限る。
- 題名の「混入なし」は絶対的な保証ではない。公開済み問題と更新後の問題を分けて読む必要がある。
何を確かめた研究か
AIの評価問題を公開すると、後のモデルがその問題を学習で見てしまう可能性がある。得点が上がっても、初見の問題を解く力が伸びたのか、既知の問題を覚えたのか判別しにくい。一方、完全に非公開の試験は再現性を確かめにくい。LiveBenchの論文は、この緊張関係に対し、新しい資料から問題を作り続け、機械的に採点できる評価を提案した。
問題は新しい数学大会、論文、ニュース、データ集合などを材料にする。人や別のAIが「良い答え」を主観的に選ぶ方式に頼らず、検査可能な正解を用意する。論文の題にあるcontamination-freeを、将来永遠に問題が学習へ混ざらないという保証としては読めない。
どう検証したか
LiveBenchは数学、コード、推論、言語、指示への追従、データ分析の六分野を含む。各問の答えを0〜1で採点し、課題、分野、全体へと平均する。論文第2版では40モデルを評価し、表1に上位15モデルの内訳を示した。
設問を入れ替える仕組みも評価の一部だ。著者らは月ごとの更新で古い問題や簡単になった問題を置き換え、平均して更新ごとに約6分の1を入れ替える計画を記す。新しい設問を一か月遅れて公開し、公開順位表に一部非公開の設問を残す運用も説明する。
何が分かったか
第2版の表1では、当時の比較でo1-preview-2024-09-12の全体得点が64.7、次のClaude 3.5 Sonnet（2024年10月版）が58.5だった。全体得点は六分野の平均で、単一の業務の正答率ではない。同じ表ではコードの得点などで別のモデルが上回る。順位だけを見ず、どの課題で差が付いたかを確認する必要がある。
この研究の主な貢献は、特定モデルの順位より、試験問題の鮮度と採点の再現性を両立させようとしたことにある。固定された有名問題を何年も使う場合に比べ、新しい資料を継続的に取り込めば、少なくとも古い設問を覚えた効果を減らせる。
限界は何か
新しい問題も公開された後は学習に混ざり得る。更新頻度だけで完全な混入防止は証明できない。また、正解を機械的に定めやすい課題へ評価対象が寄る。曖昧な依頼、創作、長い調査報告などは同じ方法で採点しにくい。
論文は非英語の課題が今後の課題であることや、特定のモデル系列に有利なプロンプトが残り得ることも認める。月々の設問更新には作成・検証・モデル再評価の手間が必要だ。2025年提出の第2版に記された得点を、現在のモデルの順位として使わない。
仕事との接点
自社のAI評価を続けるなら、設問の作成日と公開範囲を記録し、古い問題を定期的に更新したい。正解が明確な課題は自動採点し、曖昧な仕事は別の評価手順を用意する。これはLiveBenchの設計から導いたTRAIL編集部の提案であり、論文の全体得点を自社業務の成功率に置き換えるものではない。