- IQLは状態ごとの価値をexpectile回帰で学び、記録内の行動に対するQ値だけを更新する。
- 方策は有利な記録内行動を重くする行動模倣で得る。
- D4RLのAntMazeでは強い結果だが、すべての課題で比較法を上回るわけではない。
何を確かめた研究か
過去の行動ログだけから方策を学ぶオフライン強化学習では、訓練中に試せない行動を高く評価してしまうことがある。実際には役に立たない行動に価値が付くと、方策がその行動を選ぶ。IQLの論文は、記録にない行動を価値更新の対象にせず、良い行動を取り出せるかを調べた。
通常の価値学習では、次の状態で取り得る行動の中から高いQ値を探す。IQLはその最大化を避け、状態の価値をデータ中の行動のQ値からexpectile回帰で学ぶ。高いQ値の行動ほど重視する仕組みだ。Q値の更新もデータにある状態・行動の組に対して行う。
方策をどう得るか
価値関数を学んだ後、データ中で相対的に良かった行動の重みを高くして方策を模倣学習する。価値推定と行動選択を分けることで、データ外の行動を訓練時に直接評価する必要を減らす。論文はその後のオンライン微調整にも適用できると述べるが、オフライン評価と同じ条件の結果ではない。
比較結果を読む
D4RLのAntMazeでは、表1の正規化スコア合計がIQL 378.0、CQL 303.6だった。たとえばantmaze-medium-playではIQL 71.2、CQL 61.2である。しかしantmaze-umaze-diverseではIQL 62.2、CQL 84.0と逆転する。MuJoCo locomotionの合計でもIQL 692.4はCQL 698.5を下回る。平均や合計だけを見て、すべての課題で優位だと受け取るべきではない。
これらは公開ベンチマーク上の数値で、実機や運用中の失敗率を測ったものではない。行動ログの分布、報酬の定義、比較手法の調整によって結果は変わり得る。
限界と仕事との接点
「記録外の行動を評価しない」は、学習した方策が常に記録内の安全な行動だけを選ぶという保証ではない。ログ自体に危険な行動や偏りがあれば、そこから学ぶ問題は残る。シミュレーションで良いスコアが出ても、現場の稀な状態に対する挙動を別に検証する必要がある。
業務の推薦やロボット制御へ考え方を移すなら、まずデータがカバーする状態と行動を調べ、外れた状態で方策を止める基準を作る。報酬だけでなく失敗件数を追う。これはTRAIL編集部の運用上の提案であり、論文がその業務上の安全性を実証したわけではない。