- SimCLRは、同じ画像を二通りに変換したものを似た表現へ、異なる画像を離れた表現へする対照学習を使う。
- 論文はImageNetの線形評価でtop-1正答率76.5%を報告した。少量ラベルの追加学習では別の指標を使う。
- ラベルなしで学べても、画像の変換の選び方と大きなバッチなど、学習の条件は重要だ。
何を確かめた研究か
画像を分類するモデルを作るには、多数の画像に正解ラベルを付ける方法がある。ラベルが少ない場合でも、画像同士の関係から使える特徴を学べるか。SimCLRの論文は、画像を変換して作った二つの見え方を「同じもの」とし、他の画像との違いを学ぶ対照学習を調べた。
特別なメモリバンクや専用のネットワーク構造を使わず、既存の画像エンコーダ、画像変換、非線形の投影層、対照損失を組み合わせる。同じ画像から切り抜きや色の変化を与えた二つの入力を作り、表現を近づける。別の画像から来た入力は離す。この設計のどの要素が有効かを切り分けた点が研究の中心だ。
どう検証したか
研究チームは、切り抜き、色の変化、ぼかしなどの組み合わせを変えた。投影層を使う場合と使わない場合、バッチサイズ、学習の長さも比べた。ImageNetでラベルを使わずに表現を学習した後、特徴を固定して線形の分類器を訓練する評価と、少数のラベルでモデルを追加学習する評価を行った。
二つの評価は指標も条件も違う。線形評価のtop-1は最上位の答えが正しい割合を示し、少量ラベルの実験に出るtop-5は上位5候補に正解が入る割合だ。数字を直接比べて改善幅と見なせない。
何が分かったか
論文の線形評価ではtop-1正答率76.5%を報告し、同時期の自己教師あり学習の比較方法を上回った。1%のラベルだけで追加学習した設定ではtop-5正答率85.8%を示した。ラベルなしの事前学習から、後の分類に使える特徴を得られたという結果だ。
要因の分析では、画像の切り抜きと色の変化の組み合わせ、非線形の投影層が効いた。さらに、対照学習は大きなバッチと長い学習から利益を得た。したがって「ラベルを付けなくてよい」ことは「計算資源がほとんど要らない」ことではない。
限界は何か
主要結果はImageNetを中心に測ったものだ。病理画像、衛星画像、工場の外観検査のように、意味のある色や形が異なる場合、同じ変換が適切とは限らない。たとえば色が判断の鍵になる仕事で強い色変換を使えば、有用な情報を消す恐れがある。
対照学習では、何を同じとみなすかを画像変換で決めている。転用先の仕事でその前提が合わなければ、ベンチマークの高得点だけでは選べない。大きなバッチを使う学習費用も含めて比べる必要がある。
仕事との接点
画像ラベルが不足する現場では、SimCLRのように未ラベル画像から特徴を学ぶ選択肢がある。導入を考えるなら、変換後も仕事に必要な情報が保たれるかを確認し、ラベルを付けた少数の画像での最終成績と事前学習の費用を測る。これは論文の方法と評価範囲を踏まえたTRAIL編集部の提案であり、個別の業務での効果を論文が保証したものではない。