LLMの評価とは？意味・仕組みと評価の方法を扱った論文（2026年11月時点）

ひとことで言うと

LLM の評価は、LLM やそれを使うアプリが、目的の仕事をどれだけうまくこなせるかを測ることだ。英語では evaluations を略して evals と呼ぶ。OpenAI の評価のガイドは、evals をモデルの性能を測るための構造化されたテストと説明している。生成 AI は同じ入力にも違う答えを返すことがあるので、従来のソフトウェアのテストだけでは足りないという。

たとえば、客の問い合わせを「注文の状況」「返品の規定」などの分類に振り分けるボットがある。実際に来そうな質問と正しい分類を組にして集め、ボットの答えが正しい分類と合うかを調べる。この問題と正解の組の集まりが eval だ。

仕組み

OpenAI のガイドは評価の進め方を次の5つに分けている。

1. 目的を決める。何ができれば成功かを定める。
2. データを集める。本番の利用のデータ、過去のデータ、専門家が用意したデータ、合成データ（AI につくらせたデータ）などを組み合わせる。
3. 測り方を決める。成功の基準を満たしたかを、何で確かめるかを選ぶ。
4. 評価を実行して比べ、改善を繰り返す。
5. 評価を続ける。変更のたびに評価を回し、アプリを監視して新しい失敗の例を見つけ、eval を増やしていく。

Anthropic のテストと評価のガイドは、成功の基準を決めて評価をつくる繰り返しがプロンプトエンジニアリングの中心にあると書く。基準は具体的で、測れるものにする。「良い性能」ではなく「感情の分類が正確」と書く例を挙げている。

Anthropic のガイドでは、採点の方法は3つに分かれる。1つ目はコードによる採点で、答えが正解と完全に一致するか、決まった語を含むかを調べる。最も速く確かだが、ルールに収まらない判断には向かない。2つ目は人による採点で、最も柔軟で質が高いが、遅く費用がかかる。3つ目は LLM による採点で、速く柔軟で、複雑な判断にも使える。まず信頼できるかを確かめてから規模を広げる。人が丁寧に採点した少ない問題より、自動で採点できる多くの問題のほうがよいともしている。

3つ目の方法を LLM-as-a-Judge と呼ぶ。この呼び名で方法を体系的に調べたのが、MT-Bench と Chatbot Arena を提案した2023年の論文だ。論文は、強い LLM は RLHF（人の評価を使った学習）で調整されていることが多く、すでに人の好みに近い判断をすると考えた。採点のさせ方は3通りある。2つの答えを見せてどちらが良いかを選ばせる方法、1つの答えに点数をつけさせる方法、参考の正解を添えて採点させる方法だ。

論文によると、GPT-4 の判定は、専門家の判定とも、Arena の利用者の投票とも80%を超えて一致した。人どうしの一致と同じ水準だという。MT-Bench の1ターン目では、同点を除いた GPT-4 と人の一致が85%で、人どうしの81%を上回った。

表で見る最新の状況

上の表は TRAIL の研究記事のうち、評価の方法そのものを扱った論文を並べたものだ（確認日は2026年11月6日）。測る相手は、対話の答え、報酬モデル、RAG、数学やコードなどの問題、コードの修正と分かれている。

RewardBench（2024年3月）は、報酬モデル（答えの良し悪しを判断するよう学んだ AI）が、2つの答えのどちらが良いかを見分けられるかを調べた。最上位のモデルの総合点は89.0だったが、難しい会話の指示の点数は76.8だった。平均点だけでは弱い分野が見えない例だ。RAGBench（2024年6月）は、約10万件の質問・検索した文書・答えを集め、失敗を4つの観点に分けた。論文は、文書に裏付けられない答え、つまりハルシネーション（もっともらしいが正しくない内容を答えること）を見つける判定器も比べている。

LiveBench（2024年6月）は、問題が学習データに混ざるのを避けるため、新しい資料から問題をつくり直す。論文は更新ごとに平均で約6分の1の問題を入れ替える計画を記している。SWE-Bench Pro Verified（2026年9月）は、731件のコード修正の課題で、評価の環境から正解が見えてしまう経路を塞いだ。この対策を入れると、GLM-5.2 の成功率は78.80%から57.32%に下がった。

各社の評価の道具も変わっている。Google Cloud の Gen AI evaluation service は、質問ごとに合格か不合格かの基準を自動でつくる「適応型ルーブリック」を推奨している。一方、OpenAI は自社の Evals のプラットフォームの提供を終える。廃止の一覧によると、2026年6月3日に利用者へ知らせ、既存の利用者の eval は10月31日から読み取りだけになった。Evals のダッシュボードと API は2026年11月30日に停止する予定だ。

公開のベンチマークと自社の eval の違い

OpenAI のガイドは、evals という語が指すものを3つに分ける。モデルどうしを比べる業界のベンチマーク、ROUGE のような標準の数値の指標、そして自社の LLM アプリの性能を測るために自分でつくるテストだ。ガイドが扱うのは3つ目である。

仕事でどう関係するか

モデルを乗り換えるとき

Google Cloud の説明は、評価の使い道の1つにモデルの乗り換えを挙げている。モデルの版どうしを比べて振る舞いの違いをつかみ、それに合わせてプロンプトや設定を直すという。Anthropic のガイドは、少数の例から Claude に問題を増やさせる方法も示している。

次の5つは、社内の経費精算の問い合わせと、正しい答えの組です。
同じ形式で、よくある質問、まれな質問、規定にない依頼を含む30組を作ってください。
（問い合わせと正しい答えの組を5つ貼る）

LLM に採点させるとき

OpenAI のガイドは、2つの答えの比較か、合格・不合格の判定にすると確かになりやすいとする。答えの長さの影響を抑え、点数の前に理由を考えさせることも勧める。Anthropic のガイドは、詳しく明確な採点の基準を書き、「正しい」「正しくない」か1〜5の点数だけを出させる例を挙げる。

あなたは問い合わせへの答えを採点します。
次の基準をすべて満たせば「合格」、1つでも欠ければ「不合格」です。
1. 注文の状況を書いている
2. 配送の予定日と追跡番号を書いている
理由を2〜3文で書いたあと、最後の行に「合格」か「不合格」だけを書いてください。
（問い合わせと答えを貼る）

LLM の採点を広く使う前に、人がつけた正解と一致するかを確かめる。OpenAI のガイドは、速く安く、人の判定と安定して一致するようになってから規模を広げるよう勧めている。

本番に出したあと

OpenAI のガイドは、開発の段階からすべてを記録し、ログから良い評価の例を掘り出すよう勧めている。Google Cloud の評価のサービスも、本番のログから例を取り出せる。ガイドは、動いているように見えるという感触で評価を済ませることや、公開まで評価をしないことを避けるべき例に挙げている。

エージェントを評価するとき

AI エージェントは指示と道具を持ち、どの道具を使うかを自分で選ぶ。OpenAI のガイドは、正しい道具を選んだか、道具に正しい引数を渡したかを評価するよう勧めている。複数のエージェントの間では、正しい相手に仕事を引き継いだかも評価する。

注意点と限界

LLM-as-a-Judge には偏りがある。MT-Bench の論文が調べたのは次の4つだ。

• 位置の偏り：2つの答えの順番を入れ替えると判定が変わる。論文の試験で、入れ替えても同じ判定だったのは GPT-4 で65.0%、Claude-v1 で23.8%だった。Claude-v1 は75.0%の場合で先の答えを選んだ。
• 長さの偏り：新しい中身を足さずに長くした答えを、元の答えより良いとする。論文は番号つきの一覧を言い換えて前に足した答えを23件つくった。それを良いとした割合は、Claude-v1 と GPT-3.5 が91.3%、GPT-4 が8.7%だった。
• 自分を好む偏り：人の判定と比べて、GPT-4 は自分の答えの勝率を10%、Claude-v1 は25%高くつけた。ただし論文は、データが少なく、この偏りがあるとは言い切れないとしている。
• 数学と推論の採点の弱さ：自分で解ける問題でも、採点する答えにつられて誤る。

対策として論文は、順番を入れ替えて2回判定させ、両方で勝ったときだけ勝ちとする方法を示す。数学の問題では、判定する LLM に先に自分で解かせ、その答えを参考の正解として添える。10問の数学の試験では、誤る割合が20回中14回から3回に下がった。

人の評価にも、専門家どうしで判定が割れるという課題があると OpenAI のガイドは書く。

問題が固定されたテストは、時間がたつと学習データに混ざり、結果があてにならなくなることがある。Chatbot Arena の論文はこれを汚染と呼び、固定の問題のベンチマークの問題点として過学習などとともに挙げている。

よくある質問

関連する用語

• ベンチマーク：モデルどうしを同じ条件で比べる試験と Arena の順位。Arena の日本語の順位表もある
• ハルシネーション：評価で見つけたい代表的な失敗。分類は正解との完全一致で採点しやすい仕事
• プロンプトエンジニアリング、RLHF、過学習、合成データ、RAG、AI エージェント