- 同じ画像を別々に変換した二つを近づけ、異なる画像からは離す表現を学んだ。
- 過去の比較対象をキューへ保存し、鍵側の符号化器を移動平均で更新した。
- ResNet-50のImageNet線形分類はTop-1正解率60.6%だった。
何を確かめた研究か
画像のラベルなし学習では、どの画像同士を近く、どれを離すかという比較対象が重要になる。MoCoは、大きな比較辞書を小さいミニバッチに縛らず使うため、直近の特徴をキューに貯める。保存された古い特徴と新しい特徴が食い違い過ぎないよう、鍵側の符号化器をゆっくり更新する方法を提案した。
どう検証したか
画像を二つの変換で作り、一方を問い合わせ、もう一方を対応する鍵とする。異なる画像の鍵はキュー内の負例として使う。ImageNetでラベルを使わず事前学習した後、符号化器を固定して線形分類器だけを学習し、画像表現を評価した。さらにPascal VOCなどの物体検出・分割へ重みを移し、教師ありのImageNet事前学習と比較した。キュー方式、メモリバンク方式、同一ミニバッチ方式も比べた。
何が分かったか
表1のResNet-50条件で、MoCoのImageNet線形分類Top-1は60.6%。表3のPascal VOC検出では、ImageNetで事前学習したMoCoのFaster R-CNN R50-C4構成がAP50 81.4、AP 55.2、AP75 61.2を出した。論文は複数の検出・分割課題で教師あり事前学習を上回る例を示すが、これを全課題・全構造での勝利とは読まない。
対照学習の改善はキューだけではなく、鍵符号化器の移動平均による安定化も関係する。§4の切除実験では、勢い係数をなくすと学習損失が揺れ、表現の質が下がる。大きい辞書を使いながら、内容の一貫性を保つことが設計上の要点だった。
限界は何か
負例には意味的に同じクラスの別画像も混じり得る。画像変換の選び方が学習表現を変える。線形分類の値は完全なモデルの業務成績ではなく、下流への転移評価も特定のデータと構成に限る。
仕事との接点
大量の無ラベル画像がある場合、事前学習後に目的の検出・分類へ移して評価する。ラベル作成費を減らせたか、転移先での見逃しが増えないか、学習計算費まで含めて比べる。