- BYOLは同じ画像の二つの変換結果を使い、片方の表現からもう片方の表現を予測する。
- 異なる画像を負例として遠ざける仕組みを使わず、ImageNetの固定特徴で74.3%のtop-1精度を報告した。
- 目標ネットワークの更新方法を変えると表現が崩れるため、「負例なし」だけで成功を説明できない。
何を確かめた研究か
画像にラベルを付けず、後の分類や検出に役立つ特徴を学ぶ自己教師あり学習では、同じ画像の異なる見え方を近付け、別の画像を負例として遠ざける方法が使われてきた。BYOLの初版論文は、負例を明示的に使わずに有用な表現を学べるかを調べた。
方法は二つのネットワークを使う。一方のonline networkは画像変換から得た表現で、別の変換を受けた同じ画像についてtarget networkが出した表現を予測する。targetはonlineの重みを移動平均して遅れて更新する。学習ではtarget側へ勾配を流さない。予測器と更新の非対称性が、両方が同じ無意味な出力へ潰れるのを避ける設計の中心にある。
どう検証したか
ImageNetの画像をラベルなしの事前学習に使い、特徴抽出器を固定したまま線形分類器を学習する評価で表現の質を測った。これなら分類器全体を作り直す評価と区別できる。転移学習、少数ラベルの条件、検出や領域分割なども別に調べた。
表1では標準のResNet-50と、幅・深さを増やしたモデルを分けて示す。表5ではtargetの重みを更新しない、即時更新する、移動平均で更新するといった条件を比較する。実験条件を分けずに最高値だけを読むと、手法とモデル規模の効果を取り違える。
何が分かったか
標準ResNet-50の線形評価でBYOLのtop-1精度は74.3%、top-5は91.6%だった。同表のSimCLRは69.3%、MoCo v2は71.1%だが、各手法の学習設定や計算量まで完全に同一という比較ではない。79.6%という値はより大きいResNet-200（幅2倍）の結果で、標準ResNet-50の値と混ぜない。
表5aの300 epochの除去実験では、移動平均で目標を更新する設定のtop-1が72.5%だった。一方、targetをonlineに即座に合わせる条件は0.3%まで崩れ、常に固定する条件も18.8±0.7%にとどまった。この結果は、負例を省くだけで十分という説明に反する。
限界は何か
主な数字はImageNet上の固定特徴の線形評価であり、実際の小規模な業務画像で同じ優位性があるとは限らない。画像変換の選び方や学習に使う計算量も結果を左右する。負例を使わないことは、目標ネットワーク、予測器、画像変換の設計が不要という意味ではない。
仕事との接点
ラベルの少ない画像で特徴抽出器を選ぶなら、固定特徴での分類と、自社の検出・検索など転移先の課題を分けて測る。BYOLの実験はその評価設計の参考になる。これはTRAIL編集部の提案であり、論文が特定の業務データで優位性を保証したものではない。