- Decision Transformerは、過去に集めた状態・行動・報酬の記録を系列として学び、目標とする報酬から次の行動を予測する。
- 論文はAtari、OpenAI Gym、Key-to-Doorで、代表的なオフライン強化学習法と同程度か良い結果を示した。
- 目標の報酬を入力できても、記録にない行動や未知の状況で安全に達成できるとは限らない。
何を確かめた研究か
強化学習では、行動の結果として得られる報酬をもとに、良い行動を選ぶ方策を学ぶ。過去に集めた記録だけを使う「オフライン強化学習」では、新しい試行で失敗を学び直すことが難しい。Decision Transformerの論文は、価値関数を推定する代わりに、行動選択を文章生成に似た系列予測として扱えるかを調べた。
モデルには、これから得たい報酬の合計、過去の状態、取った行動を順に渡す。次の行動を予測し、実際に得られた報酬の分だけ残りの目標を更新する。目標を入力に含める点が、単に過去の行動を模倣する方法との違いだ。
どう検証したか
論文はAtariのゲーム、OpenAI Gymの連続制御、鍵を見つけて扉を開けるKey-to-Doorを使った。データを集め直さず、既存の軌跡から学習し、CQLや行動模倣などと比較する。課題によってスコアの尺度が違うため、一つの平均点だけで評価していない。
Key-to-Doorでは、鍵を得るという途中の行動と、最後に扉を開ける報酬の間が離れている。論文の表6では、ランダムな軌跡1,000件で学習した場合、Decision Transformerの成功率は71.8%、CQLは13.1%だった。ただし、成功した軌跡を重視する別の行動模倣法も69.9%を示した。Decision Transformerだけがこの課題を解いたわけではない。
何が分かったか
事前の行動記録を、報酬を条件としたトークン列として扱うだけでも、複数のオフライン強化学習の課題で強い結果を得られた。価値関数の推定や方策勾配を直接使わなくても、系列モデルに行動を選ばせられることが研究の発見だ。
一方、比較の勝敗はデータ量や課題によって変わる。Key-to-Doorで10,000件の軌跡を使うとDecision Transformerは94.6%、比較した成功軌跡重視の行動模倣法は95.1%だった。優れた構成を一つに決めるより、目標と軌跡をどう条件付けるかを考える資料になる。
限界は何か
目標報酬は、入力しただけで達成される約束ではない。過去の記録にない状態や行動に出会ったとき、モデルがどう振る舞うかは別の問題だ。実際の業務やロボットに使う場合、失敗が生む損害も考える必要がある。著者らは実世界の失敗の種類や悪影響を十分に調べられていないと述べる。
さらに、記録の中の偏りや危険な行動を学ぶ可能性がある。論文の結果は、評価したゲーム・シミュレーション上の条件についてのものであり、任意の現場へ安全に転用できることを示さない。
仕事との接点
過去の作業ログから次の行動を推薦する仕組みを考えるなら、まずログが成功と失敗の両方をどこまで含むかを見る。候補の行動が記録から大きく外れたときに止められるかも確かめる。これはDecision Transformerの仕組みと限界を踏まえたTRAIL編集部の提案であり、論文は一般の業務での効果を測っていない。