- DINOv3は、画像に人手で内容ラベルを付けずに、再利用できる視覚表現を学ぶ研究である。
- 長い学習で画像全体の分類が良くなっても、画面内の位置を表す特徴は劣化する現象を示した。
- 部分同士の類似関係を保つGram anchoringで改善したが、用途別の評価器や追加学習は必要になる。
何を確かめた研究か
DINOv3の原論文は、特定の作業名を教師データとして与えずに学んだ画像モデルを、分類、領域分割、奥行き推定などに使えるかを調べた。中心の問いは、規模を大きくして長く学習するとき、画像全体を表す特徴と、画面の各部分を表す特徴を両方保てるかである。論文の初公開と参照版は2025年8月13日である。
どう検証したか
著者らは画像を小さな領域に分けて扱うVision Transformerを大規模な画像集合で学習した。ラベルを使わず、異なる切り出しや部分の表現が整合するように訓練する。学習途中のモデルを比べると、ImageNet-1kの画像分類は進む一方、PASCAL VOCの領域分割は約20万回以降に低下した。分類には画像全体の特徴、領域分割には各部分の特徴を使うため、両者を別に測れる。
そこでGram anchoringを追加する。良好な部分表現を持つ早い段階のモデルを参照し、画像内の部分同士の類似度の並びを保つ。個々の特徴量をそのまま固定する方法ではない。著者らは学習後半にこの目標を導入し、導入前後で局所的な指標がどう変わるかを調べた。
何が分かったか
図5と図8では、全体分類の改善と局所表現の劣化、Gram anchoring後の局所指標の回復が示される。表3の固定した画像モデルに線形の予測器だけを載せる比較では、ADE20k領域分割のmIoUがDINOv3で55.9、DINOv2で49.5だった。同じ表のCityscapesでも81.1対75.6である。mIoUは予測領域と正解領域の重なりを測る指標だ。
ただし、表11の高度な領域分割システムは別の条件である。DINOv3本体を固定したまま約9.27億個のパラメータを持つデコーダを学習し、ADE20kで63.0 mIoUを得た。表3の線形予測器の結果と混ぜて「追加学習なしで63.0」とは言えない。
限界は何か
自己教師ありとは、事前学習時に画像の内容ラベルを使わない意味である。表3では評価用の線形予測器を学習し、表11ではさらに大きなデコーダと複数の学習データを使う。個別用途へ持ち込む際の注釈作業が不要になると示したものではない。
大規模な訓練には計算資源も要る。論文の表20は主な7Bモデルの事前学習再現に61,440 GPU時間、約47 MWhと見積もる。この数字は定めたGPU・電力条件での推計であり、手元でモデルを使う費用ではない。自然画像や論文中の測定対象以外で同じ精度が出るとも限らない。
仕事との接点
画像検索、検品、地図画像の解析などで視覚モデルを選ぶ場合、全体分類の点数だけで判断しない。対象物の境界、小さな文字や部品、撮影条件が変わった画像を含む自分の評価集合を作り、必要な予測器を学習した条件まで記録する。これはTRAIL編集部の提案である。