- 複数のactorが環境を並列に経験し、共有したモデルを非同期に更新する強化学習手法を提案した。
- Atari 57ゲームの表1ではA3CのLSTM版が4日・16 CPUコアで平均人間正規化得点623.0%、Prioritized DQNが8日・GPUで463.6%だった。
- 比較機器、経過時間、設定探索が違うため、単純に「CPUがGPUより速い」とは結論できない。
何を確かめた研究か
強化学習では、同じ系列の経験に続けて依存すると学習が不安定になりやすい。非同期強化学習の論文は、複数のactorがそれぞれ環境を動かし、共有したニューラルネットワークを更新する方法を示した。その中で最も成績の良かった非同期advantage actor-criticをA3Cと呼ぶ。
どう検証したか
著者らは四種類の既存の強化学習法を非同期化し、Atari、連続制御のMuJoCo、視覚入力を使う3D迷路で試した。Atariの主な比較は57ゲームの人間正規化得点で、平均と中央値を表1に載せる。A3Cは16 CPUコアで4日、比較のDQN系はNvidia K40 GPUで8日など、計算環境と時間が明示されている。
何が分かったか
表1でA3CのLSTM版は平均623.0%、中央値112.6%だった。Prioritized DQNは平均463.6%、中央値127.6%で、平均ではA3Cが高く、中央値は逆になる。単一の平均だけで全ゲームに強いと読めない。図1の5ゲーム比較は、非同期法で学習率を探索した50試行から良い5件を平均しており、DQN側は固定設定の5乱数である。この違いも速度比較に含めて解釈する。
限界は何か
CPUとGPUの比較は当時の機器、実装、ゲームでの経過時間であり、現代のハードウェア一般の優劣を示さない。Atariの高得点が連続制御や実ロボットでの安全性を保証しない。MuJoCoと迷路の実験は適用範囲を広げるが、失敗時の物理的な影響を測る試験ではない。
仕事との接点
シミュレーションで複数の方策を試すなら、計算資源と探索した設定数を含めた比較表を作る。平均と中央値、失敗した課題も見る。これは論文の評価設計から導くTRAIL編集部の提案であり、業務の自律システムの性能を直接測った結果ではない。
01