- PPOは行動方針の更新を大きくしすぎない目的関数を使い、収集した経験を複数回の小分け更新に利用する。
- 7種類の連続制御課題では、クリップ幅0.2の正規化平均点が0.82だった。
- Atariでは学習途中の成績と最後の成績で、ACERとの比較結果が違う。
何を確かめた研究か
Proximal Policy Optimization（PPO）の原論文は、行動の結果を見て方針を改善する強化学習で、更新幅と実装の複雑さをどう両立するかを調べる。通常の方針勾配法で同じ経験を何度も使うと、行動の確率が大きく変わり、性能を壊すことがある。Trust Region Policy Optimization（TRPO）は更新を制約するが、実装が複雑だ。
PPOの代表的な案は、新旧の方針が同じ行動を選ぶ確率の比率を一定範囲に収めるよう目的関数をクリップする。環境から経験を集めた後、その経験を使って複数回のミニバッチ更新を行う。クリップは無制限な更新を抑えるための近似で、性能が必ず改善する数学的保証ではない。
どう検証したか
論文は7つのMuJoCo連続制御環境と49のAtariゲームを使う。連続制御では各条件を3乱数で試し、合計21実行の最後の100エピソードを正規化して平均した。比較にはクリップなし、KL距離に罰則をかける案、TRPOなどを置く。AtariではA2C、ACER、PPOを同じ方針ネットワーク構造で比べ、学習期間全体の平均報酬と最後の100エピソードの平均報酬を別指標にした。
何が分かったか
表1の連続制御では、クリップ幅0.2の正規化平均点0.82に対し、クリップも罰則もない設定はマイナス0.39だった。後者は一つの環境で非常に悪い結果を出したことが平均に効いている。0.1は0.76、0.3は0.70で、幅を大きくすれば必ず良いわけではない。
表2のAtariでは、学習全期間の平均報酬でPPOが49ゲーム中30、ACERが18で首位だった。しかし最後の100エピソードで見るとPPOは19、ACERは28、引き分け1となる。論文の「良いサンプル効率」を、すべてのゲームの最終性能で優位と言い換えられない。
限界と仕事との接点
試験した環境、ネットワーク、更新回数、乱数条件に依存する。実際のロボットや業務システムでは報酬の設計と探索中の危険が加わる。PPOを採用する際は、同じ環境・計算予算で複数の乱数を試し、学習曲線、最終成績、失敗時の振る舞いを比較する。後半はTRAIL編集部の提案である。