- RainbowはDQNに六つの既存改良を組み合わせ、データ効率と最終得点を比較する。
- Atari57ゲームの最終的な人間基準の中央値は、no-op開始で223%、人間が途中まで進めた開始で153%だった。
- 要素除去では経験の優先再生や複数ステップ学習の寄与が大きく、全ての要素が同じ方向には効かなかった。
何を確かめた研究か
Rainbowの原論文は、深層Q学習の改良が互いに組み合わせられるかを調べる。Double Q学習、優先度付き経験再生、dueling構造、複数ステップ更新、分布を学ぶQ予測、Noisy Netsという六つを一つのエージェントに統合した。独立の論文で良かった部品を足すと常に良くなるとは限らないので、全体だけでなく一部を外した版も比べる。
どう検証したか
57種類のAtariゲームで学習し、行動前にランダムな空動作を入れるno-op開始と、人のプレイ状態から始めるhuman-startsの両条件を使った。人の得点を基準に正規化したゲームごとの得点の中央値を示す。表2には著者らの再実装による値と、先行論文からの値が混在する。計算機や並列化の費用は方式ごとに完全に揃えられないため、論文はアルゴリズム上の比較に焦点を当てた。
何が分かったか
表2の最良スナップショットでRainbowはno-op開始223%、human-starts153%。Distributional DQNは164%、125%、DQNは79%、68%だった。ただし先行法の一部は公表値であり、中央値だけで各ゲームの詳細や全ての同条件差を示せない。学習曲線では、DQNの最終成績へRainbowが約700万フレームで到達したと報告する。
要素除去では優先再生と複数ステップ更新を外すと多くのゲームで落ちる。一方、duelingやDouble Q学習は中央値で差が小さく、ゲームにより改善・悪化が分かれた。六要素の寄与を一律の足し算にできない。
限界と仕事との接点
Atariは画面と行動の閉じた試験環境であり、長い業務や実機の制約を代表しない。人間基準の100%は人が試したゲームの得点を基準にした指標で、ゲームの完全攻略率ではない。強化学習の構成を選ぶなら全体の中央値に加えて、失敗する課題、経験量、計算時間、各要素を除いた差を確認する。最後はTRAIL編集部の提案である。