ベンチマークとは？意味・仕組みと主要モデルのArenaの順位（2026年10月時点）

ひとことで言うと

AI のベンチマークは、AI モデルの性能を同じ条件で測って比べるための試験と、その結果の点数や順位のことだ。決まった問題を解かせて正解の数を数える方式と、人が2つの答えを読み比べて投票する方式がある。

後者の代表が Arena（旧 LMArena）だ。たとえば利用者が同じ質問を2つの匿名のモデルに送り、よいと思った答えに投票する。その投票を集めて、モデルの順位表をつくる。

仕組み

Arena を提案した論文は、LLM のベンチマークを2つの軸で分けている。問題が固定されたデータか新しく集めたものか、採点が正解との照合か人の好みか、の2つだ。

1. 固定の問題で正解と照らす方式が、いまも最も多い。論文は、費用が安く、同じ結果を再現できることを理由の1つに挙げている。例は MMLU、GSM-8K、HumanEval などで、言語の理解、数学、コーディング、論理的な推論といった分野の問題を扱う。
2. Arena では、利用者が自由に質問を入力し、匿名の2つのモデルから答えを受け取る。よいほうに投票すると、そこで初めてモデルの名前が明かされる。
3. 集めた投票から、Bradley-Terry モデル（2者の勝ち負けから強さを推定する統計の手法）で各モデルのスコアを出す。Arena のデータセットによると、2024年1月9日に Elo レーティングからこの手法に切り替えた。
4. 文章の順位表には「スタイル・コントロール」をかけている。答えの長さ、見出し・太字・箇条書きの数が投票に与える影響を差し引く手法で、2025年5月16日から文章と画像入力（vision）の部門の標準になった。

Arena のブログは、長さと書式の影響を差し引くと順位が変わったと報告している。人の投票は答えの中身だけでなく見た目にも左右されるということだ。

表で見る最新の状況

上の表は、TRAIL が掲載している22のモデルを公開日の新しい順に並べ、Arena の文章・総合の順位を添えたものだ。順位表は2026年10月8日公開で、414件のモデルが並ぶ。モデルの確認日は2026年10月12日から10月24日。

• 1位は Google の Gemini 4 Argon、2位は Anthropic の Claude Opus 5.5 だ。Claude Fable 5.1 が6位、Gemini 3.8 Flash が8位で続く。
• OpenAI のモデルでは、GPT-6.1 Sol が21位、GPT-6 Astra が35位、GPT-6 Sol が67位、GPT-6 Luna が91位だ。
• DeepSeek-V4.1-Flash は39位、DeepSeek-V4-Pro は55位。Grok は 4.5 が51位、4.6 が72位、4.7 が90位だ。
• 22件のうち15件に順位がある。Claude Haiku 5.5、Muse Wonder、Muse Spark 1.3、Sakana AI の3モデル、Perplexity の Sonar は「—」で、この順位表に行がない。

TRAIL の表では、公開日が新しいモデルほど順位が高いとは限らない。Grok 4.7 は2026年9月21日公開で90位、Grok 4.5 は7月16日公開で51位だ。

固定の問題のベンチマークと Arena の違い

論文は、固定の問題のベンチマークには、汚染（問題が学習データに入ってしまうこと）、飽和、過学習、人の好みとのずれといった問題があると書いている。一方で、複雑な作業の多くでは、決まった正解をつくること自体が難しいとしている。

仕事でどう関係するか

使うモデルを選ぶとき

順位表は、候補を絞る手がかりになる。上の表では、同じ会社のモデルでも順位に幅がある。OpenAI の4モデルは21位から91位に分かれている。ただし Arena の順位は人の投票による目安で、自社の作業で正しく答えるかは別に確かめる必要がある。

次の3つのモデルに、同じ社内向けの質問を10問ずつ送り、答えを並べた表をつくります。
各答えについて、正しいか、根拠を示しているか、読みやすいかを3段階で評価してください。
（モデル名を3つと、質問を10問書く）

料金と見比べるとき

順位と料金を並べて見ると、選び方が変わる。TRAIL の DB では、1位の Gemini 4 Argon の API 料金は100万トークンあたり入力2ドル、出力10ドルだ（2026年12月1日からは入力4ドル、出力20ドル）。35位の GPT-6 Astra は入力10ドル、出力50ドルだ。料金はAPI料金の比較で確かめられる。

発表の数字を読むとき

ベンチマークの点数を見るときは、何の問題で、正解との照合か人の投票かを確かめる。部門によっても順位は変わる。Arena には文章・総合のほか、日本語やコーディングの順位表もある。

注意点と限界

• Arena の順位は人の投票による目安で、正しさを直接測ったものではない。Arena のブログは、長い答えや書式の多い答えが好まれやすいことを踏まえて、スタイル・コントロールを入れたと説明している。
• 新しいモデルは公開からしばらく順位表に載らないことがある。Arena の更新履歴によると、Claude Haiku 5.5 が文章の部門に加わったのは2026年10月22日だ。上の表の「—」は10月8日公開の順位表に行がないモデルを示す。
• 固定の問題のベンチマークは、問題が学習データに混ざると点数があてにならなくなる。論文はこれを汚染と呼んでいる。
• 上の表の順位は、そのモデルに当たる行のうち最上位のものだ。Arena では、同じモデルでも名前に High や Max がつく設定ごとに別の行になる。

よくある質問

関連する用語

• LLM（大規模言語モデル）：ベンチマークで比べられる主なモデル
• 推論モデル：考える量の設定ごとに順位表の行が分かれることがある
• オープンウェイト：重みを公開したモデルも同じ順位表に並ぶ
• AI の API：順位と並べて料金を見るときに使う
• Arena の文章・総合の順位表、AIモデルのAPI料金比較
• ツール：ChatGPT、Claude、Gemini、Grok、DeepSeek