- DPOは、選ばれた応答と退けられた応答の組から、言語モデルを直接調整する目的関数を導いた。
- 原論文は感情の制御、要約、単発の対話で、PPOを使うRLHFなどと比較した。
- 報酬モデルを別に学ばなくても、良い選好データと独立した評価は必要だ。
何を確かめた研究か
人が「こちらの応答の方がよい」と比較したデータで言語モデルを調整するRLHFでは、通常、好みを予測する報酬モデルを先に作り、その報酬を使って強化学習する。DPOの原論文は、この手順をより単純にできるかを問う。一定の制約下では、好まれる応答の確率を直接高める分類に似た目的関数で、選好に沿う方策を学べると導いた。
比較する二つの応答と基準となる参照モデルを使い、選ばれた応答を相対的に好むよう学習する。別の報酬モデルを明示的に訓練せず、調整中に言語モデルから新しい応答を繰り返し採取する手順も不要とする。ただし、好みを示すデータそのものが不要になるわけではない。
どう検証したか
著者らは、感情の方向を制御する生成、掲示板投稿の要約、単発の対話でDPOとPPOを使うRLHFなどを比較した。実験ごとに元のモデル、選好データ、評価指標が違う。感情制御では狙った方向に変わるか、要約と対話では出力の好ましさを比較した。
要約や対話の評価にはGPT-4による対比較の判定を用いる。これは人間の評価を代替する指標として置かれたもので、独立した人間が全回答の正しさを確認したことにはならない。評価条件と基準応答を見ずに、勝率だけで一般的な優位を結論づけられない。
DPOの目的関数は、学習中のモデルが二つの応答へ割り当てる確率を、参照モデルが割り当てる確率と比べる。好まれる応答を押し上げるだけでなく、元のモデルから大きく離れすぎないという制約を組み込む。比較の強さを調整する値を変えれば、応答の変化も変わる。実験の勝率を見る時は、学習用の選好を作った人と、評価時に二択を判定したモデルを区別する。後者の判定は、長文の事実性や安全性を全て測るものではない。
何が分かったか
論文では、DPOが感情制御でPPOに基づくRLHFを上回り、要約と単発対話では同等以上の回答品質を示したと報告する。別の報酬モデルと強化学習ループを用いない構成で、選好に合わせた調整ができる点が成果だ。学習手順が簡潔になることと、全てのデータやモデルで安定することは区別する必要がある。
選好は「どちらがよいか」の相対評価であり、選ばれた応答の内容が絶対に正しいという印ではない。誤った二択から良い方を選んだデータでも、誤りは残る。
限界は何か
選好データの集め方、評価者の基準、二つの応答の差が学習結果を左右する。対象外の言語や専門領域で望ましい振る舞いになるかは原論文から分からない。基準モデルからどれだけ離れてよいかを調整する値も重要で、設定を変えた際の品質を確認する必要がある。
また、好みの判定と事実の正確さ、安全性は一致しないことがある。評価に使う別モデルにも偏りがありうる。実務では文章の読みやすさだけでなく、事実や利用上の規則を別の評価軸に置く。選好が衝突する例や、評価者ごとに判断が割れる例も、学習前に点検したい。
仕事との接点
応答の文体や要約を調整するなら、選好データを誰がどの基準で作ったかを記録し、事実性や重要情報の欠落を別途測る。複数の分野で比較してから採用する。これはTRAIL編集部の提案であり、原論文が任意の業務データに対する優位を証明したものではない。