- ゲームのルールを完全なシミュレーターとして与えず、計画に必要な内部状態を学んだ。
- Atari57ゲームでは、設定した大規模学習条件で人間正規化得点の中央値2041.1%を報告した。
- 盤上ゲームとAtariでは探索回数や学習環境が異なり、同じ数字で横比較できない。
何を確かめた研究か
AlphaZeroはゲームの規則を使って先の状態を正確に探索した。しかし現実の環境では、先の状態を完全に計算する規則が分からないことがある。MuZeroは画面や盤面から内部状態を作り、行動後の報酬、方針、状態価値の予測を学習して探索へ使う。未来の画素を忠実に再現する代わりに、良い行動を選ぶのに必要な情報へ絞る。
どう検証したか
囲碁、チェス、将棋とAtari57ゲームを使った。盤上ゲームではAlphaZeroと対局し、両者の探索条件をそろえてEloの変化を見た。Atariでは人間の得点で正規化した平均・中央値を比べ、経験フレーム数の多い条件と少ない条件を分けた。学習中は実際のゲームから得た経験で内部モデルを更新し、行動選択時はそのモデル上で木探索を行う。
何が分かったか
表1の大規模Atari条件でMuZeroは57ゲームの人間正規化中央値2041.1%、平均4999.2%だった。比較先R2D2の中央値1920.6%、平均4024.9%を上回る。ただしゲームごとの学習経験量はMuZeroが200億フレーム、R2D2が375億フレームで、同じ経験予算の厳密な比較ではない。少量データ条件のMuZero Reanalyzeはゲームごとに2億フレームで中央値731.1%であり、別の方法・予算として示される。
図2では盤上ゲームでAlphaZeroに近いか上回る到達を示す。MuZeroは完全なルールモデルを与えられていないが、学習時には環境と大量に対話して報酬を得る。したがって「規則も経験も不要」という意味ではない。図3では探索回数を増やす効果が囲碁よりAtariで小さく、内部モデルの誤差が影響する可能性を論じる。
限界は何か
ゲームは得点と行動の候補が定義された環境で、現実の仕事の曖昧な目標や安全制約を直接表さない。人間正規化得点は一部のゲームで大きく跳ねることがあり、中央値と平均を併記する必要がある。学習と探索の計算量も大きい。
仕事との接点
計画を伴うAIを評価するなら、シミュレーション上の成功だけでなく、実環境で集めた経験量、探索予算、失敗時の回復を分けて記録する。モデルが予想した将来と実際の結果のずれも点検する。