- CLIPは、画像とそれに対応する文章の組を大量に使い、両者の対応を学習した。
- 評価時には画像カテゴリを文章で表し、課題別の追加学習をせずに分類する「ゼロショット」を試した。
- 候補文の書き方や画像の種類で結果が変わる。あらゆる画像を正しく理解するモデルと捉えてはいけない。
何を確かめた研究か
従来の画像分類では、あらかじめ決めたカテゴリごとに正解ラベル付きの画像を集めて学習することが多かった。新しいカテゴリを扱うたびに同様のデータが必要になる。CLIPの原論文は、画像に付いた自然言語の説明を学習に使えば、初めて出会う分類課題にも文章で候補を示して取り組めるかを問うた。
CLIPは「Contrastive Language-Image Pre-training」の略だ。論文の中心は、画像から長い文章を生成する仕組みではなく、画像と文章の対応を測る表現を学ぶことにある。
どう検証したか
著者らはインターネット上の公開情報から集めた4億組の画像と文章で事前学習した。画像を処理するモデルと文章を処理するモデルを使い、対応する画像と文章の組の近さが高く、異なる組の近さが低くなるように学習する。人が少数の固定カテゴリだけにラベルを付ける学習とは、教師信号の作り方が異なる。
分類の際は、候補カテゴリを文章にし、画像と最も対応しそうな文章を選ぶ。これが論文でいうゼロショット分類だ。評価する個別データセットの正解画像で追加学習しない、という条件を指す。事前学習そのものにデータが不要という意味ではない。
論文は30を超える既存の画像関連データセットを検討し、物体の細かな分類に加え、文字認識、動画中の動作認識、地理的な場所の推定なども含めた。ただし、課題ごとに入力や評価指標が異なるため、すべてを一つの正答率として読むことはできない。
何が分かったか
要約では、ImageNetでのゼロショット分類が、元のResNet-50の正答率に匹敵したと報告する。ResNet-50が学習に使った128万枚のImageNet訓練画像を、CLIPはこの課題専用の訓練には使っていない。ただし、これは特定の比較対象と評価方法における結果で、現在の最高性能との比較ではない。
また、論文の図5では、27データセット中16データセットで、ゼロショットのCLIP分類器がResNet-50の特徴量を使って教師あり学習した線形分類器を上回った。残りすべてで上回ったわけではない点も重要だ。候補カテゴリの名前をそのまま使うより、画像の説明文らしい形式に整えると性能が改善し、複数の表現を組み合わせる方法も有効だった。
限界は何か
候補文の書き方による差は、運用時に無視できない。論文の図4では、プロンプトの調整と複数表現の併用により、36データセットの平均で約5ポイントの改善を報告する。これは「文章を与えさえすれば設定に依存せず動く」という主張を弱める材料でもある。
著者らはデータの重複可能性、分布の違い、偏りや監視への悪用にも言及している。Web上の画像と文章の組が、特定の会社の製品画像、医療画像、日本語の書類画像を代表するとは限らない。似た画像を探せることと、内容の安全性や事実性を保証することも別だ。
仕事との接点
画像の仕分けに利用するなら、実際に扱う画像と日本語の候補文を用意し、取り違えやすいカテゴリを中心に評価する。候補文を変えた際の結果と、人が再確認すべき境界を記録する。これはTRAIL編集部の提案であり、原論文が特定の事業環境での導入成果を検証したわけではない。