- 通常の経験再生は保存した遷移を均等に引くが、優先経験再生は学習の手掛かりが大きい遷移を多く選ぶ。
- DQNへ加えると、49 Atariゲーム中41ゲームで均等再生のDQNより得点が高かった。
- 同じ49ゲームの人間正規化得点中央値は48%から106%へ上がった。
何を確かめた研究か
Prioritized Experience Replayの原論文は、強化学習で過去の経験をどの順番で再利用すべきかを問う。均等に選ぶと、既に十分学んだ遷移と、まだ予測を大きく間違える遷移を同じ頻度で扱う。著者らはTD誤差を優先度の近似として使い、順位に基づく方法と誤差の大きさに比例する方法を試した。
どう検証したか
Atariゲームで通常のDQN、優先再生を加えたDQN、Double DQNとの組み合わせを比較する。表1では49ゲームと57ゲームの欄が混在するため、列ごとの分母を分けて読む必要がある。学習速度も図4に示す。高優先度の経験を過剰に使うとサンプル分布が偏るため、重要度サンプリングの補正と優先度の強さを制御する。
何が分かったか
均等再生のDQNに優先再生を加えると49ゲーム中41ゲームで成績が上がり、人間正規化得点中央値は48%から106%になった。Double DQNの57ゲーム比較では、優先再生を組み合わせた方法が中央値111%から128%、平均418%から551%になった。平均はVideo Pinballの大きな寄与で不安定だと論文が注意する。二つの比較はゲーム集合も基準手法も異なる。
順位方式は極端なTD誤差の影響を抑え、比例方式は誤差の大きさを直接反映する。どちらも「予測が外れた経験ほど役立つ」という近似に立つ。誤差が大きい理由が一時的な珍しい状態なのか、観測ノイズなのかを仕組みだけでは見分けられない。補正係数や優先度の更新頻度も成績へ影響する。
限界と仕事との接点
大きなTD誤差は有益な経験だけでなく、雑音や学習困難な例も表し得る。特定の遷移ばかり再生すると経験の多様性を失う。用途に合わせる際は優先度の分布、補正の有無、学習曲線、少数例に偏った改善かを確認する。後半はTRAIL編集部の提案である。
新しい経験が十分に再生されるかも確認し、古い例への集中で環境の変化を見落とさないようにする。