- SAM 2は画像と動画で使える対話的な領域分割モデルで、動画の途中のフレームにも指示を追加できる。
- 第2版の動画評価では、比較手法より少ない操作で高い平均精度を得た。画像評価の「6倍速い」は指定されたGPU・モデル比較の結果だ。
- 場面転換、長い遮蔽、似た物体が並ぶ場面では追跡を失うことがある。
何を確かめた研究か
動画から人物や商品などの輪郭を切り出すとき、最初に対象を指定しただけでは途中で追跡が外れる。対象が隠れる、別の似た対象と交差する、カメラが切り替わるといった変化があるためだ。SAM 2の論文は、点や枠などの指示を動画の任意のフレームに追加して修正できる領域分割モデルを提案した。
モデルは画像の特徴を取り出し、直近の情報と過去の指示を記憶として利用する。研究チームは人の修正を取り込むデータ収集の仕組みも作り、SA-Vという動画データセットを構築した。第2版に記された規模は約5.09万本の動画と約3550万個のマスクである。モデルの改良とデータ収集の効果は混ざるため、単一の設計要素だけが性能差を生んだとは読めない。
どう検証したか
動画の主評価では、学習に使っていない9つの動画データセットで、修正するフレームを選び直せるオフライン設定と、時間順に処理するオンライン設定を用意した。各フレームで3クリックを使い、SAMと動画追跡器を組み合わせたSAM+XMem++、SAM+Cutieと比較した。評価指標は領域の重なりと輪郭の一致を合わせたJ&Fで、図5は修正したフレーム数に対する平均精度を示す。
別の17データセットでは、最初のフレームだけにクリック、枠、または正解マスクを与える従来型の動画分割も比較した。画像については37データセットを対象にし、うちSAMの既存評価に使われた23データセットで精度と速度を測った。動画と画像の数字は、評価設定が違うので同じ倍率としてまとめない。
何が分かったか
図5の対話的動画評価では、SAM 2が両比較手法を上回り、同等以上の精度に到達するまでの操作が3分の1未満になったと著者らは報告した。表4では、最初のフレームで3クリックした場合の17データセット平均J&Fが、SAM+XMem++の68.4、SAM+Cutieの70.1に対しSAM 2は75.3だった。操作を増やせば修正できるという設計と、初回の指示だけでどこまで保てるかは別の評価である。
画像の23データセットでは、同じ画像データで学習した比較の1クリック平均mIoUがSAMの58.1に対しSAM 2は58.9。論文はこの条件でSAM 2が約6倍速いと報告する。速度は単一のA100 GPUなど論文の測定環境での結果であり、全ての端末や動画処理にそのまま移せない。
限界は何か
論文の付録Cは、場面転換、長い遮蔽、混雑、細い物体や速い動き、似た物体の近接を失敗例に挙げる。修正指示で多くを回復できても、ゼロ操作で安定追跡する保証ではない。また複数の対象は対象ごとに処理し、共有する画像特徴以外には対象間の情報交換がない。
SA-Vのマスクには自動生成分も含まれ、人が品質確認と修正箇所の選択を行う。分野特有の動画、たとえば医療や安全監視での信頼性をこの評価から直接判断できない。利用目的に近い動画で対象の種類、撮影条件、必要な修正回数を測る必要がある。
仕事との接点
映像編集や点検用の切り出しに使うなら、成功率だけでなく1本の動画を仕上げるための修正時間を記録したい。場面転換や遮蔽を含む自社動画を用意し、初回指示と追加修正の両方を含む費用を比べる。これは論文の評価軸を業務に移したTRAIL編集部の提案であり、論文が特定業務の費用対効果を測ったわけではない。