- DDPGは行動を直接出すactorと、その行動の価値を評価するcriticを学習する。
- 経験再生とゆっくり更新する目標ネットワークを、連続行動の設定で使った。
- 20超の物理シミュレーション課題を試したが、Torcsの運転では学習に失敗した試行もある。
何を確かめた研究か
DDPGの原論文は、アクセルや関節角のような連続値の行動を、深層強化学習で直接選べるかを調べた。離散行動のDQNでは候補ごとの価値を並べて最大を選べるが、連続行動の全候補は列挙できない。DDPGはactorが行動を出し、criticがその価値を推定する。経験再生、目標ネットワーク、探索ノイズも組み合わせる。
どう検証したか
MuJoCoなどの20超の物理シミュレーション課題を、低次元の状態入力と画素入力で試した。同じ基本構成とハイパーパラメータを多くの課題へ適用し、各課題を5回繰り返した。表1の得点は無作為行動を0、力学を知る計画法iLQGを1に正規化した値で、一般の正答率ではない。Torcsの運転だけは探索ノイズの時間尺度を変えた。
何が分かったか
表1では、複数の制御課題で計画法に近い、あるいは上回る試行があった。一方、同じ課題でも5回のばらつきがある。Torcsでは一部の試行でコースを周回できたが、合理的な方針を学べなかった試行もあった。著者らはcriticの価値推定が難しい課題では真の収益からずれることも図3で示す。シミュレーションで高得点というだけで安定性を証明したわけではない。
actorはcriticの勾配に従って行動を調整するが、criticの推定が誤れば方針の更新も誤った方向へ向かう。目標ネットワークをゆっくり更新するのは、この相互依存で学習目標が急に動くことを抑える工夫である。経験再生は連続した観測の相関を弱めるが、環境で集めた経験の範囲から出る行動には十分な保証を与えない。
限界と仕事との接点
連続制御では探索中の危険、行動の上限、実機とシミュレーションの差が重要になる。論文は実ロボットでの安全性を測っていない。採用時は複数の乱数で失敗率を出し、行動制約と緊急停止を別途設計する。シミュレーションの平均点だけで実機運用を決めないというのはTRAIL編集部の提案である。