- 専門家が作る難しい学術問題で、先端AIの正答と自信の持ち方を測った。
- 参照した第11版では2,500問を収録し、論文表1の公開前モデルは得点が低く、確信度のずれも大きかった。
- 問題は既存モデルが答えにくいよう選ばれている。得点は一般的な業務能力を表さない。
何を確かめた研究か
Humanity's Last Examの原論文・第11版は、既存の学術ベンチマークで高い得点を取るモデル同士を、さらに難しい問題で区別できるかを問う。著者らは、数学や自然科学、人文分野を含む100以上の分野から、専門家が作った2,500問を集めた。文章だけの設問と画像を伴う設問があり、選択式と短答式を含む。
同じ題名の論文でも版に注意が必要だ。初公開は2025年1月24日だが、この記事が参照する第11版は2026年7月28日の提出である。初期版にあった3,000問という数字を、ここで読む版の問題数と混ぜない。
どう検証したか
問題作成者は、当時の先端モデルが答えられる問題を除き、査読者と主催者が形式や難しさを確認した。公開問題とは別に非公開の保留問題も置き、公開問題への過剰な適合を調べる設計にした。ただし、専門性の高い解説を短時間で完全に検証することは難しい。論文は設問の誤りについて、公開後の指摘も受け付けると述べる。
設問は専門家が作るため、分野の広さと問題の難しさを両立しやすい。一方で、設問の正解を人がどこまで検証したか、公開後に修正が入るかは、評価セットを使う側も確認したい点だ。
評価ではモデルに最終回答と確信度を出させ、正答率と確信度のずれを測った。表記が違っても同じ答えかを判定するため、採点には別のAIモデルであるo3-miniを用いる。したがって得点は設問だけでなく、回答形式と採点器にも依存する。
何が分かったか
第11版の表1では、公開前に評価したGPT-4oの正答率は2.7%、o1は8.0%だった。DeepSeek-R1の8.5%とo3-mini（high）の13.4%には、画像問題を含まないテキストだけの集合で測った印が付く。同じ表の数字でも評価対象が異なるため、単純な順位表にしない。
表1のRMS較正誤差は、モデルが述べた確信度と実際の正答のずれを示す。GPT-4oは89%、o1は83%で、難問に誤答しても高い確信度を示す問題が見える。一方、低い正答率は問題作成時に既存モデルの正解を除いた設計の影響も受ける。これだけで幅広い知識や推論能力の欠如を証明したとは言えない。
限界は何か
論文が測るのは、答えを短く検証できる学術問題である。開かれた研究課題を立てる力、資料を集める力、長い仕事を完了する力は直接測っていない。著者ら自身も、HLEの高得点だけで自律研究能力や汎用人工知能を示すものではないと述べる。
さらに、問題を既存モデルで事前に選別するため、公開時点の低得点には設計上の理由がある。公開問題は学習データに混ざる可能性があり、得点を時期や版を超えて比較するときは保留問題の扱いも確認する必要がある。
仕事との接点
業務でAIを比べるなら、難問の正答率だけでなく、間違いを認められるか、根拠を示せるか、やり直しが必要な場面を見分けられるかを測りたい。自社の資料、用語、権限、作業の完了条件を含む設問を別に用意する。これはTRAIL編集部の提案であり、HLEの得点から業務成果を予測するものではない。