- V-JEPA 2は大量の動画で視覚表現を学び、ロボットの行動記録を少し加えて動作を予測した。
- 第1版では、訓練に使わない二つの研究室の同型ロボットで、置き場所を指定した物体操作を試した。
- コップのつかみ・移動・配置の成功率は平均80%だが、物体やカメラ位置、長い手順に制約がある。
何を確かめた研究か
V-JEPA 2の原論文は、動画を見て次に起こることを予測する表現が、映像の理解だけでなく、実際の行動計画にも役立つかを問う。まずインターネット上の動画と画像から、画面の一部を隠して表現を予測する方法で視覚モデルを学ぶ。人が各動画に作業名を付ける必要はない。
ただし、動画を見ただけでは「この操作をしたらどう変わるか」は学びきれない。そこで著者らは、ロボットの映像と手先の動きを記録した別のデータを使い、行動を条件に次の状態を予測するV-JEPA 2-ACを作った。論文の初公開と参照版は2025年6月11日である。
どう検証したか
視覚モデルの事前学習には100万時間を超える動画と約100万枚の画像を使う。ロボット用の追加学習には、DROIDから62時間未満の記録を使う。ここで「ラベルなし」は、何の作業に成功したかなどの課題ラベルがない意味であり、映像とロボットの手先の状態は使っている。事前学習とロボット用学習を同じ「動画だけの学習」とまとめない。
実機評価には、追加学習データに含まれない二つの研究室のFrankaロボットを使った。画像で目標位置を示し、到達、物をつかむ、持って移動する、置く作業を試す。つかんで置く課題では、中間目標の画像も与える。モデルは予測した次の状態を使って行動を選び、実行後のカメラ画像を見て計画を更新する。各課題・各研究室で10回ずつ試した。
何が分かったか
第1版の表2では、V-JEPA 2-ACは単純な到達を両研究室で10回中10回成功した。コップをつかんで運び配置する課題は、両研究室で各10回中8回。箱を使う同じ種類の課題は、研究室1で8回、研究室2で5回だった。一つの成功率だけで「ロボット操作全般」を語れない。物体の形や研究室の条件で差が出る。
表3では、V-JEPA 2-ACの行動計画はこの設定で1回約16秒、比較した動画生成型のCosmosは約4分を要した。計画方法と計算資源を固定した比較であり、製品の動作速度や費用の一般値ではない。映像理解の評価も行われたが、ロボット結果は別の追加学習と制御ループを含んだものだ。
限界は何か
「ゼロショット」は評価先の研究室のロボットで新たな訓練データを集めなかった意味である。追加学習には同じFranka系のロボット記録を使っており、未知の機体でも動くと示したわけではない。著者らはカメラ位置を手で試して決めており、位置が変わると座標の推定が乱れると記す。
また、長い計画では予測の誤差が積み重なる。実機で試したのは到達や短い物体操作で、工場や家庭の複雑な一連の作業、周囲の人との安全な共存を測っていない。1課題10回の試行から失敗率を精密に推定することも難しい。
仕事との接点
動画で学習したAIを実際の機械へつなぐ場合、映像の試験成績と実機の成功を分けて測る。カメラの角度、対象物、初期位置、手順の長さを変え、どの条件で失敗するかを記録する。これはTRAIL編集部の提案であり、論文が実運用の安全性や費用を保証するものではない。