- AlphaZeroはゲームの規則から自己対局を生成し、ニューラルネットと木探索を一緒に改善する。
- チェスのStockfishとの100局ではAlphaZeroが28勝72引き分け0敗だった。
- 「人の棋譜なし」は計算や探索なしを意味せず、大規模なTPU資源を使った実験である。
何を確かめた研究か
AlphaZeroの原論文は、囲碁向けのAlphaGo Zeroの考えを、チェスと将棋へ共通の手順で広げられるかを調べる。各ゲームのルールと合法手を与え、最初はランダムな方針から自己対局を行う。ニューラルネットが局面の価値と次の手の候補を予測し、モンテカルロ木探索がその予測を使って対局中に手を調べる。自己対局の結果を新たな学習材料にする。
「知識なし」という表現には範囲がある。人の棋譜や手作りの局面評価関数は使わないが、ゲームの規則、盤面の表現、探索アルゴリズム、強力な計算機は与えられる。三ゲームは同じ手順と大半の設定を使うが、学習済みモデルはゲームごとに別々に作る。
どう検証したか
各ゲームで70万更新を行い、自己対局の生成には第一世代TPUを5,000基、ニューラルネットの訓練には第二世代TPUを64基使った。途中の強さは一手1秒の条件でEloを推定する。完成モデルの対戦は一手1分、各ゲーム100局とし、チェスのStockfish 8、将棋のElmo、囲碁の3日間学習したAlphaGo Zeroと比較した。StockfishとElmoには64 CPUスレッドと1GBのハッシュ領域を与える。
何が分かったか
図1ではチェスで約4時間、将棋で2時間未満、囲碁で約8時間の学習時点に比較相手の強さを上回ったと報告する。これは途中の一手1秒評価であり、最終モデルの100局とは別条件だ。
表1のチェス100局は28勝72引き分け0敗。先手の時25勝25引き分け、後手の時3勝47引き分けだった。将棋は90勝2引き分け8敗、囲碁は60勝40敗。比較相手や持ち時間を変えた全条件で同じ成績になるという主張ではない。
限界と仕事との接点
ゲームには明確な規則と勝敗があり、AIが自分で何度も試せる。実務の報酬は曖昧で、失敗の費用が大きく、同じやり方をそのまま使えない。大規模な自己対局資源と探索計算も結果の一部だ。AIの自己改善を考えるなら、環境の正しさ、試行の安全性、比較する計算予算を明示する。最後はTRAIL編集部の提案である。