- 行動して経験を集める役と、方針を学ぶ役を分離した強化学習法を示した。
- 特定の分散構成では毎秒25万フレームを処理した。
- 処理速度だけで性能は決まらず、古い方針で集めた経験の補正が必要だった。
何を確かめた研究か
多くの環境を同時に動かせば経験は増える。しかし、経験を集める実行役と学習役が別々に進むと、実行役の方針は学習役の現在の方針より古くなる。IMPALAの論文は、そのずれを扱いながら、同じAIが多数のゲーム課題を学べるかを調べた。
どう検証したか
複数のactorが環境を動かして経験を送り、learnerがまとめて方針を更新する。学習のずれには、重要度に応じた補正を使うV-traceを導入した。DeepMind Labの30課題DMLab-30、Atariの57ゲームAtari-57、単一課題の学習で比較した。処理量、使ったフレーム数に対する成績、最終の成績を分けて測る。A3Cなどの既存手法と、課題ごとに別の専門エージェントを訓練する構成も比較した。
実行役を増やすほど新しい経験は届くが、学習役が更新した方針との差も生じる。古い方針で集めた行動を、そのまま現在の方針の結果として扱えば学習が不安定になり得る。V-traceはこのずれを補正するための計算であり、分散の通信構造と対になる技術だ。
何が分かったか
表1の最も大きい測定構成は500 CPU、1 GPUで毎秒25万フレームを処理した。同じ表の単一機械・48 actor条件は毎秒1.7万〜2.4万フレームで、構成と資源が違う。DMLab-30の表3では、深いIMPALAの複数課題学習は人間を上限とする正規化平均46.5%、A3Cの深い構成は23.8%だった。追加の探索を使うIMPALA構成は49.4%に達したが、これは別の学習設定である。課題別の専門モデル44.5%と複数課題構成の差は、課題間の知識共有を考える材料になる。
表3の49.4%にはPBTというハイパーパラメータ探索が加わる。単純なIMPALAの46.5%と同じ学習予算で一つの設定だけを入れ替えた比較ではない。また表1の最大FPSは特定の単一課題での計測で、DMLab-30全体の複数課題学習を常に同じ速度で行った値ではない。
限界は何か
速度の測定は使用したCPU、GPU、ゲーム環境、実装に依存する。毎秒25万フレームは現在のサービスの応答速度ではない。人間正規化得点もゲーム内の指標であり、業務の達成率ではない。分散学習の構成が異なれば通信や方針の遅れも変わり、V-traceだけの効果と全体システムの効果を混同できない。
仕事との接点
複数の実行環境から経験を集めるAIでは、学習器が追いつけるか、経験がどの方針で作られたかを記録する。処理量と最終の課題成果を同時に見る。これは論文の設計に基づく編集部の提案で、ゲーム得点を現実の自動化率とは読まない。