- GAEは価値関数から得る時間差誤差を、指数的な重みで足し合わせて行動の優位を推定する。
- γとλで推定の偏りとばらつきの交換条件を調整する。
- カートポールの21乱数では、γが0.96〜0.99、λが0.92〜0.99の中間域で良い結果を報告した。
何を確かめた研究か
GAEの原論文は、方針勾配の学習が大量の経験を要し、更新が不安定になりがちな問題に取り組む。長い将来の報酬をそのまま使うと推定が大きく揺れる。価値関数を使うと揺れを減らせるが、推定した価値が不正確なら偏りが入る。著者らは複数の時間幅の誤差を指数的に合わせるGAEを提案し、割引係数γと重みλで交換条件を調整した。
どう検証したか
カートポールでは複数のγとλを振り、21の乱数で学習曲線を比較した。さらに3次元の二足・四足歩行、二足ロボットの起立をシミュレーションで試す。方針と価値関数の更新には信頼領域の手順を使い、GAEだけの性能として全体結果を切り分けていない。図3の二足歩行は9試行の平均である。
何が分かったか
図2のカートポールでは、γを0.96〜0.99、λを0.92〜0.99にした中間域で良い成績を示した。値を極端にすると偏りか分散の問題が表れやすい。図3では二足歩行の方針が滑らかな歩行を学んだ。ただしこの学習は約5万ステップのバッチを1000回使うなど大量のシミュレーションを要した。パラメータをどの環境でも同じにすれば良いという結果ではない。
GAEの利点は、異なる時間幅で見た報酬の情報を一つの推定量へまとめる点にある。短い時間幅は価値関数の推定へ強く依存して揺れを抑え、長い時間幅は実際の将来報酬を多く使う。どちらか一方を常に選ぶのでなく、環境の報酬の遅れと価値関数の誤りに合わせて調整する。
限界と仕事との接点
価値関数の誤りはGAEの推定にも入る。報酬が遅れて届く課題や、実機で経験を集めにくい課題では、シミュレーションでの学習曲線をそのまま移せない。実務では環境別にγ・λと経験量を記録し、複数乱数で成績の分布を確認する。これは論文の評価設計から導くTRAIL編集部の提案である。
使う価値関数の精度も記録し、改善がGAEの設定によるものか他の更新手順によるものかを分けて考える。