- DQNの最大値を取る更新は、行動価値の推定誤差があると過大評価を生み得る。
- Double DQNはオンラインネットワークで行動を選び、目標ネットワークで価値を評価する。
- 49ゲームの人間正規化得点中央値はDQN 93.5%、Double DQN 114.7%だった。
何を確かめた研究か
Double DQNの原論文は、価値を推定して最も高い行動を選ぶ際、偶然高く見積もった行動を選びやすい問題を扱う。DQNは行動の選択と価値の評価に同じ推定値を使う。Double DQNでは現在のネットワークで次の行動を選び、更新の目標値は別の目標ネットワークで評価する。元のDQNに大きな構造変更を加えず、推定の役割を分ける。
どう検証したか
論文は人工的な例で過大評価が生じる仕組みを示した後、Atariのゲームで価値推定と実際の収益を比較した。図3は6ゲームを複数乱数で詳しく追い、表1は49ゲームの人間正規化得点を集約する。表1の評価はゲーム開始時に無行動を加える方式で、表2の人間の途中状態から始める評価とは条件が異なる。
何が分かったか
表1の49ゲームでは得点中央値がDQN 93.5%、Double DQN 114.7%、平均が241.1%から330.3%になった。図3ではDQNの価値推定が実際の収益より高くなる例を示し、Double DQNでは差が縮んだ。平均値は一部のゲームに強く引かれ得るため、中央値と個々のゲームを見る必要がある。Double DQNが全49ゲームで高得点だったという意味でもない。
選択と評価の分離は、どの行動を試すかを決める探索規則そのものを変えるわけではない。比較表の人間正規化得点も、ゲーム間で得点の尺度を合わせるための値だ。特定ゲームで何点改善したかを知るには、付録の生得点と学習曲線へ戻る必要がある。値推定の校正と最終方針の強さは関連するが同一ではない。
限界と仕事との接点
過大評価を抑えても、報酬の設計や探索の不足は解決しない。ゲームに依存する訓練量、乱数、開始状態で順位は変わり得る。実務的な制御へ転用するなら、推定価値と実収益の校正、失敗の種類、複数試行の分布を追う。これは論文の検証方法から導くTRAIL編集部の提案である。