- Gatoは、文章、画像、ゲーム、ロボットの状態や操作を同じモデルで扱おうとした汎用エージェントの研究だ。
- 論文は604の異なる課題で学習し、シミュレーション上の多数の課題で専門家の得点を基準に結果を示す。
- 対応する課題が多いことは、各課題で専門システムを上回ることや、未知の実世界で安全に使えることを意味しない。
何を確かめた研究か
言語、画像、ゲーム、ロボットの制御には、別々の専門モデルを作ることが多い。Gatoの論文は、一つのTransformerが異なる種類の観測を読み、異なる種類の行動を出せるかを調べた。文章の続きを作る言語モデルに似た方法で、状態、画像、操作をトークンの列へ変換する。入力の文脈に応じて、文章、ボタン操作、ロボットの関節に与える値などを出力する。
同じ重みを使うことが研究の特徴だ。課題ごとに別のモデルへ切り替えるのではなく、一つのモデルに多種類の経験を学習させる。ただし、全ての仕事を自力で発見したわけではない。多くの課題では、専門の方策や人が作った行動データを学習に使う。
どう検証したか
研究チームは604の課題を使ってモデルを学習した。Atariのゲーム、シミュレーション上の制御、画像説明、対話、実物のロボットアームでの積み木などが含まれる。シミュレーションの制御課題では、課題ごとの専門家の得点を100%、ランダムな動作を0%とする基準を作り、Gatoを各課題で50回動かした平均値を示す。
この基準は、各課題の得点を比較しやすくするための正規化だ。50%という値が「作業の半分を完了した」ことや「人間の半分の能力」を示すわけではない。専門家の得点も、論文の学習データに含まれる課題別の方策に基づく。
何が分かったか
論文の図5では、604課題のうち450を超える課題で、Gatoは専門家得点の50%を超えた。Atariでは23ゲームで人の平均得点以上だったと報告する。一方、データを作った単一課題向けの強化学習エージェントの方が、Atari全体ではGatoより良い結果を示した。幅広く動けることと、ある仕事で最高の性能を出すことには差がある。
実物のロボットでの積み木も試しているが、研究全体の604課題を実機で検証したわけではない。異なる形式の入力と行動を一つのモデルにまとめられる可能性を示す結果として読むのが適切だ。
限界は何か
著者らはGatoを概念実証の段階と位置付け、論文執筆時点で利用者へ提供していないと記した。多くの課題での評価は、学習時に扱った種類の環境や、そのために用意した評価基準の中で行われる。まったく新しい仕事への転用能力や、現場での安全な操作を示すものではない。
物理的な行動を含むエージェントでは、間違った出力の結果が文章の誤りより重くなる場合がある。論文は価値の整合、未知の影響、外部の監督を今後の重要課題として挙げる。性能の幅だけで実運用を決められない。
仕事との接点
一つのAIに複数の業務を任せる構想を検討するなら、対応可能な業務の一覧だけでなく、各業務での完成条件と失敗時の影響を決める。専門の仕組みとの比較や、訓練で見ていない条件での試験も必要だ。Gatoは汎用モデルの研究上の起点であり、一般の職場での効率や安全性を測った実証ではない。これは論文を踏まえたTRAIL編集部の提案である。