- この研究は短い行動の二択比較から報酬モデルを学び、その予測報酬で強化学習を進める。
- 模擬ロボットでは数百回の比較で元の環境報酬による学習へ近づいたが、Atariでは一致しないゲームもある。
- 「人の好み」は与えた映像と判断者の基準に依存し、複雑な目標を完全に表すものではない。
何を確かめた研究か
原論文は、強化学習の目標を数式の報酬として書くのが難しい時、人がどちらの行動を好むかという比較で学習できるかを調べた。エージェントが短い二つの軌跡を作り、人が望ましい方を選ぶ。その比較を使って報酬予測器を訓練し、エージェントは予測報酬を最大化する。環境から大量の経験を集めても、人が全ての瞬間を採点する必要はない。
どう検証したか
MuJoCoの模擬ロボットと七つのAtariゲームを使い、実際の人の回答と、環境の元の報酬から作る合成回答を比較した。元の報酬をエージェントには見せず、論文の成績確認には使う。人手回答にかかった時間は課題に応じ約30分から5時間だった。新しい行動として、Hopperの連続後方宙返りやHalf-Cheetahの片脚走行も学習させた。
何が分かったか
模擬ロボットの図2では、合成の700比較で元の報酬を直接使う学習に概ね近づいた。ただし人手回答の曲線は一実行で、合成回答などの平均曲線と同じ反復数ではない。報酬を学習する方式は平均で近い成果を得ても、変動が大きく安定性は劣る。Hopperの宙返りは900回の比較、1時間未満の人手で学習したと報告する。
Atariの図3では、BeamRiderやPongで合成回答の成績が元の報酬による学習に近づく一方、SpaceInvadersやBreakoutでは届かない。Qbertでは実際の人手回答から最初の面を越える学習に失敗した。短い映像だけで良し悪しを決めにくい課題がある。
この方法で使う人の判断は「二つの短い行動のどちらがよいか」に限定される。自由文で細かな理由や禁止条件を伝える仕組みではない。論文の一部の比較は環境の報酬を知る合成回答なので、実際の人の判断と混同しない。
限界と仕事との接点
人が好む短い断片を集めても、長期の安全性や望ましくない抜け道を全て指定できない。報酬予測器の誤りをエージェントが利用する可能性もある。人手評価を使う実務では、比較する断片が判断可能か、評価者間の違い、学習後の振る舞いを独立した課題で確認する。最後はTRAIL編集部の提案である。