- 自由な対話の答えを、人だけでなくAIに評価させられるかを調べた。
- 論文第4版ではMT-BenchとChatbot Arenaを使い、強いAI判定者と人の判断に高い一致を報告した。
- 順序や文章量による偏りが残り、一致率を正確さや安全性の保証とは読めない。
何を確かめた研究か
MT-BenchとChatbot Arenaの原論文は、対話AIの回答をどう比較するかを問う。自由な質問には正解文が一つに決まらない。人にすべての回答を採点してもらうには費用と時間がかかる。そこで著者らは、強い言語モデルに二つの回答を比べさせたり、一つの回答へ点数をつけさせたりする「LLM-as-a-Judge」を調べた。
評価対象には、二往復の会話を見るMT-Benchと、人が二つのモデルの答えを比べるChatbot Arenaがある。論文が確かめるのは、AI判定者が人の選好とどの程度似た判断を下すかであり、回答の事実が常に正しいかではない。
どう検証したか
MT-Benchは80の質問からなり、各質問は二つの会話ターンを持つ。論文は6モデルの回答を作り、58人の専門水準の評価者による約3000票とAI判定を比べた。Arena側では、収集済みの人の投票から一部を抽出して照合する。判定方式には二者比較、単独採点、参照解を与える採点がある。人とAIの一致率を比べる際には、回答の組み合わせと対象質問の条件が重要だ。
著者らは判定の偏りも別に調べた。二つの回答の表示順を入れ替える、長い答えが有利になるかを見る、判定者自身のモデルを優遇するか調べる。つまり、AIに採点を頼むだけで済ませず、採点器の癖そのものを評価した研究である。
何が分かったか
要旨と結論は、GPT-4のような強い判定者が、論文の条件で人との80%超の一致を示し、人同士の一致と同程度だったと報告する。これは全判断が正しいという意味ではない。人の評価者同士も意見が割れる課題で、好みが似ていた割合を示す。
論文は回答の順序で判定が変わる位置バイアスを示し、順番を交換して両方で同じ側が勝ったときだけ勝利とする保守的な方法を試す。数学のように確認可能な答えがある課題では参照解を示す工夫もある。ただし偏りを完全に消せたわけではない。回答の長さ、モデル名、判定プロンプトによって評価が動く。
限界は何か
Discussion節は、この研究が主に役立ち度を扱い、安全性を十分に測っていないと述べる。正直さや無害性を含めた総合的な評価には別の課題が必要だ。役立つ回答の中でも、正確さ、関連性、創造性が一つの指標に混ざる。人の好みとの一致が高くても、専門分野の正誤や有害な提案を見逃す可能性は残る。
また、判定者のモデルが変われば同じ絶対点数が維持されるとは限らない。論文の人の投票、モデル、質問、判定用プロンプトは当時の条件であり、現在の対話AIを比較するたびに再確認が要る。
人との一致率も、どの人を比べるか、同点をどう扱うかで意味が変わる。論文は比較方法を定義しているが、その数値を別の質問集合や日本語の業務会話へそのまま持ち込むことはできない。
仕事との接点
回答を大量に比較する補助としてAI判定を使うなら、順序を入れ替えて評価し、人の判定とのずれを定期的に測る。事実の正しさと安全性は別の試験でも確かめる。これは論文の偏り分析から導いたTRAIL編集部の提案であり、AI判定を人の最終判断の代替と断定するものではない。