- TRPOは旧方針から新方針へのKL距離を制約し、急な更新で性能を壊しにくくする。
- 理論上の単調改善条件を導いた上で、実装では近似して解く。
- 7つのAtariゲームの表1は各手法1回の実行で、乱数ごとの誤差範囲はない。
何を確かめた研究か
TRPOの原論文は、経験から方針を改善する際、更新を大きくしすぎると性能が崩れる問題を扱う。方針の期待報酬を直接最大化する理論的な手順を導き、旧方針と新方針のKL距離を制約する実用的な近似を作った。自然方針勾配と近い考えを持つが、単なる固定学習率の勾配更新とは違う。
どう検証したか
MuJoCoの水泳・跳躍・歩行などの連続制御と、画面を入力するAtariゲームを試した。連続制御では方針を更新する手順の安定性を固定ステップの方法と比べる。Atariは7ゲームを同じ構造とパラメータで試した表1を載せる。ただし表1のTRPO各行はゲームごとに一実行で、著者らは計算時間の制約から誤差統計を得られなかったと明記する。
何が分かったか
連続制御の学習曲線では、KL制約を置く手順が固定ステップより一貫した改善を示す例がある。一方、Atari表1は全面的な優位ではない。たとえばEnduroの得点はsingle pathの534.6に対し比較先のUCC-Iは741、PongはTRPO 20.9と高い。ゲームごとに違う得点をひとまとめの勝率へ変えず、評価対象と試行回数を読む必要がある。
信頼領域は「一回でどれほど方針を変えてよいか」を測る道具で、方針が最初から良い行動を知っているわけではない。新しい行動を試す探索と、得た経験から改善する更新は別の問題である。KL制約を守っても報酬がまれにしか得られない環境では、十分な学習信号を集めにくい。
限界と仕事との接点
論文の単調改善の保証は、正確な目的関数や分布を使う理想化した条件から導かれる。有限サンプルと近似解法で動く実験版が、毎回必ず改善するという証明ではない。実務では同じ環境で複数乱数を試し、更新前後の収益、KL距離、危険な行動の増減を同時に追う。後半はTRAIL編集部の提案である。
特に一回だけの良い得点を安定性の証拠にせず、悪化した試行がないか学習途中まで調べたい。
評価時点の違いにも注意する。