- RNDは、見慣れない状態ほど大きい探索用の報酬を与える。
- Montezuma’s Revengeでは最終平均得点8,152で、比較したPPOの2,497を上回った。
- 未知の状態を訪れることと、目的を達成することは別である。
何を確かめた研究か
強化学習の環境で報酬がめったに出ないと、偶然に良い場所を見つける前に学習が止まりやすい。RNDの論文は、環境からの本来の報酬とは別に、新しい観測を訪れた時に探索用の報酬を与える方法を示した。状態の珍しさを、予測しにくさで近似する。
どう検証したか
一つのランダムな特徴抽出ネットワークを固定し、もう一つのネットワークがその出力を予測する。すでに見た観測では予測誤差が小さくなり、見慣れない観測では大きくなりやすい。その誤差を内発的報酬として、ゲームの本来の報酬と組み合わせた。報酬が見つけにくいAtariの六ゲームでPPOなどと比較した。ゲームの内部状態や人間の実演は使わず、画面の観測から学んだ。
固定した特徴抽出器は学習によって変わらない。予測器だけが訪れた観測に合わせて学ぶため、繰り返し見た画面では誤差が下がる。これを訪問回数の代わりに使えることが手法の簡単さだ。ただし画面の見た目が新しいだけで、ゲームの攻略に役立たない状態も高く評価され得る。
何が分かったか
表1の最終平均では、Montezuma’s RevengeはRNDが8,152、PPOが2,497、人間平均が4,753だった。RNDはGravitarやVentureでも表中のPPOを上回った。一方、Pitfall!ではRNDがマイナス3、PPOが0で、どちらも正の報酬に届かなかった。どの環境でも探索が成功する方法ではない。Montezuma’s Revengeでは24の部屋をすべて訪れ、最初の面を突破した実行もあったが、毎回安定して突破したわけではない。
この比較には本来のゲーム報酬と内発的な探索報酬の両方が関わる。RNDの予測誤差が高い場所を訪れただけで、最終のゲーム得点が増えるとは限らない。表1の複数ゲームを並べて読むと、この区別が見える。
Montezuma’s Revengeでは人間平均を超えたが、Private EyeではRNDの8,666点は人間平均69,571点を大きく下回った。異なるゲームでの結果を一緒に示すことで、難しい探索課題の一部に有効でも、未知の場所へ進む課題全般を解いたわけではないと分かる。
限界は何か
予測誤差は「新しいこと」を直接理解する指標ではない。表示の揺れやランダムな変化も誤差を大きくし得る。ゲームごとに本来の報酬と探索報酬の比率を考える必要があり、Pitfall!の結果はその限界を示す。人間平均を超えた値もゲームの点数であり、現実の未知環境で安全に探索できる証拠ではない。
仕事との接点
新しい状況を探すAIを評価するなら、訪問した状態の数と、実際に価値ある成果に到達した率を分ける。探索による余計な操作の費用や危険も測る。これは論文の比較から導く編集部の提案で、Atariの得点を業務成果には換算しない。