- 観測を圧縮し、次の状態を予測する「世界モデル」を使った強化学習を示した。
- CarRacing-v0では世界モデルを使う構成が100試行平均906±21点だった。
- 仮想環境で学んだ方針は、その環境の予測の穴を利用することがある。
何を確かめた研究か
行動するAIが試行錯誤するには、実際の環境で多くの経験を集める必要がある。World Modelsの論文は、画像から環境の内部表現と変化の予測を先に学び、その表現で小さな行動方針を訓練できるかを調べた。さらに、学んだ環境の中だけで方針を訓練し、元の環境へ戻す実験も行った。
どう検証したか
視覚モデルVが画像を小さい表現へ圧縮し、記憶モデルMが過去と行動から次の表現を予測する。制御器CはVとMの出力を使って行動を選ぶ。CarRacing-v0では、実環境の走行記録からVとMを学び、Cの成績を比較した。VizDoomのTake CoverではMが作る仮想環境の中でCを学び、元のゲームで生き残る時間を測った。環境モデル自体は実環境の経験を使って作るため、現実のデータが全く要らない方法ではない。
視覚モデルだけのCは、その瞬間の画面の圧縮表現に依存する。記憶モデルの状態を加えると、画面に直接映っていない直前の変化を行動判断に使える。表1の差はその利点を示すが、視覚と記憶を合わせた構成全体の差であり、記憶モデルのどの内部要素が効いたかまで一意に決めるものではない。
何が分かったか
CarRacing-v0の表1では、世界モデル全体を使う構成が100試行平均906±21点、視覚モデルだけを使う構成は632±251点だった。ゲームの合格条件は連続100試行平均900点で、前者はその条件を超えた。Take Coverでは仮想環境の不確実性を調節して訓練した方針が、元の環境で約1,100ステップ生存した例を報告する。ただし、予測が単純な仮想環境では、現実には通用しない抜け道を学ぶこともあった。
仮想環境の映像がもっともらしく見えても、行動したときの遷移が違えば制御器は誤った規則を学ぶ。Take Coverの実験では、仮想環境の不確実性を調整して抜け道を抑えた。仮想環境の試験結果だけを公開するのではなく、元環境に戻した後の成績を並べる必要がある。
限界は何か
対象は二つのゲームで、現実のロボットや業務環境ではない。環境モデルが現実の重要な条件を見落とすと、仮想環境での高得点は転移しない。実験で調整した不確実性の値も課題に依存する。論文は、仮想環境の不正確さを利用する現象を自ら示しており、「頭の中だけで安全に学べる」とは言っていない。
仕事との接点
AIの行動を模擬環境で試すなら、模擬環境の再現度だけでなく、そこで学んだ方針が現実の条件でも成功するかを別に検査する。想定外の行動や評価器の抜け道も記録する。これは論文の比較から導く編集部の提案で、ゲームの906点を実務の成功率へ換算できない。