- SAM 3は、「赤いリンゴ」などの短い名詞句に合う対象を、画像や動画の中からまとめて探し、輪郭を切り出す。
- 著者らのSA-Co評価では、画像の概念別領域分割で比較モデルより高い得点を示した。
- 細かな専門語や長い複合指示への対応、動画で多くの対象を追う処理量には制約がある。
何を確かめた研究か
SAM 3の原論文は、画像内の点や枠で一つの対象を指定する従来のSAMから、言葉や見本画像で指定した概念に合うすべての対象を見つける課題へ広げた。著者らはこれをPromptable Concept Segmentation（PCS）と呼ぶ。動画では対象ごとの識別を保ちながら追跡する。論文の初公開と参照版は2025年11月20日である。
どう検証したか
SAM 3は画像内の対象を検出する部分と、動画で追う部分が視覚モデルを共有する。対象が存在するかを判断する部分を、位置や輪郭を決める部分から分けた。学習用データには人とAIによる確認を組み合わせ、約400万種類の名詞句と約5,200万の輪郭を持つ高品質集合を作った。別に合成データも用意している。
著者らはSA-Coという新しいPCS評価集合を作り、既存モデルと比較した。画像では短い名詞句を一度に一つ指定し、該当対象の検出と輪郭を測る。主要指標のcgF1は、対象の有無の判定と、存在するときの位置合わせを組み合わせる。動画では、名詞句に一致する対象を追跡できるかを測った。従来の点や枠による指定も別に評価した。
何が分かったか
表1のSA-Co/Goldの画像領域分割では、SAM 3のcgF1が54.1、比較したOWLv2の強い設定が24.6だった。この条件では2倍を超える。一方、同じ表の人による推定値72.8には届かない。LVISの輪郭精度を測るAPではSAM 3が48.5、OWLv2の強い設定が43.4だった。指標や評価集合ごとに差は違う。
動画の表5でも複数の比較対象より高い結果が示される。ただし、画像でのcgF1と動画での追跡指標を同じ「精度」として比べられない。従来の点や枠による課題でもSAM 2から改善したが、SAM 3の新しさの中心は、短い言葉から該当対象を一括で見つける点にある。
限界は何か
論文の付録Bは、航空機の型や医療用語など、学習範囲から離れた細かな概念へのゼロショット一般化が難しいと記す。長い説明文や複数属性を組み合わせた指示は、SAM 3単体の想定外である。論文は別のマルチモーダル言語モデルと組み合わせる例を示すが、その追加構成を含めて評価する必要がある。
動画では追う対象が増えるほど計算量も増える。付録Bの実時間の例は複数のH200 GPUを使う条件であり、どんな機器でも同じ速度が出るわけではない。独自のSA-Coでの改善を、特殊な撮影環境や専門業務へ直接移せない。
仕事との接点
商品画像の整理や動画素材の検索に使うなら、対象名を一般語、細かな品種名、複合表現に分けて試す。見逃しと余分な検出を別に数え、動画では同時に追う対象数と処理時間も測る。これはTRAIL編集部の提案であり、論文が特定業務の品質を保証するものではない。