- RewardBenchは、質問に対する二つの回答のどちらを高く評価するかで、報酬モデルの判断を検査する。
- 第2版の表2では最上位モデルの総合点89.0に対し、難しい会話指示の得点は76.8だった。平均点だけでは弱点が隠れる。
- 評価の正解ペアは全てが独立した人の好みで作られたわけではなく、報酬モデルの得点が最終的な対話品質を保証するかも未検証だ。
何を確かめた研究か
人の好みを使って言語モデルを調整する際、どの回答を好ましいと判断するかを学ぶ「報酬モデル」が使われる。RewardBenchの論文は、完成した対話モデルの点数だけでなく、この途中の評価器そのものが何を見分け、何を見誤るかを調べる。好みのデータが曖昧な場合には、判断の根拠がある程度確かめられる組を作ることを重視した。
評価の単位は一つの質問と、望ましい回答、望ましくない回答の三つ組だ。報酬モデルが前者に高い点を付ければ正解と数える。文章を直接生成する試験ではないので、得点の高さと、実際の利用者が最終回答を好む割合は同じではない。
どう検証したか
第2版は会話、微妙な違いを含む難しい会話指示、安全性、コードと数学の推論を中心に評価集合を作った。安全性には危険な依頼を適切に断る例と、無害な依頼を誤って断らない例がある。推論では、正しいコードとバグを含むコード、正しい数理回答と誤った回答を比較する。以前から使われる好みの評価集合も別枠で計測した。
分類器として直接学んだ報酬モデルに加え、DPOで調整した言語モデルの暗黙の報酬も比較した。指標は選ばれた回答を上位に置く割合で、無作為なら50%だ。論文は各分野の点数を重み付きで総合するため、総合点には重み付けの設計も含まれる。
何が分かったか
第2版の表2でArmoRM-Llama3-8B-v0.1は総合89.0、通常会話96.9、難しい会話指示76.8、安全性92.2、推論97.3だった。同じモデルでも問いの種類によって差が大きい。表2のLlama 3 70B Instructは通常会話97.6でも、難しい会話指示58.9、安全性69.2であり、平均の75.4だけを見ると取りこぼす。
安全性の比較では、危険な依頼なら何でも断るモデルが一見よく見えても、無害な依頼まで断る場合がある。論文はその両方を分けて調べた。難しい会話指示では、表面的な長さや言い回しではなく、事実の小さな誤りや指示の取り違えを検知できるかが問われる。
限界は何か
付録Aによると、全ての正解ペアが独立した人の好みの収集から得られたわけではない。多くは半自動で作られ、後から人が確認した。推論問題の形式には、モデルが本来の良し悪しとは別の手掛かりを学ぶ偏りもあり得る。
著者らはRewardBenchの得点が、その報酬モデルを使って学習した最終モデルの性能とどう結び付くかを未解決とする。既存の評価集合を訓練で見ていた可能性もある。ランキングは対象の版と評価集合を固定した結果で、後から公開されたモデルの順位を示すものではない。
仕事との接点
回答を自動採点してモデルを選ぶなら、事実の誤り、手順の誤り、危険な依頼、過剰拒否を別々の試験にする。総合点が上がっても、使う業務で必要な判断が下がっていないかを確認する。これはRewardBenchの評価設計を実務に移したTRAIL編集部の提案であり、論文が特定の業務用アシスタントを評価したわけではない。