- ViTは画像をパッチに分け、文章のトークン列に似た入力としてTransformerで分類した。
- 論文の強い結果には大規模な事前学習と、その後の画像分類データへの転移が関わる。
- 小さな画像データだけで一から学べば同じ優位が出る、という主張ではない。
何を確かめた研究か
画像認識では畳み込みニューラルネットワークが長く主役だった。Vision Transformerの原論文は、画像の局所的な構造を組み込む畳み込みに強く依存せず、Transformerで高い分類性能を得られるかを調べた。画像を固定サイズのパッチに分け、各パッチをベクトルへ写し、位置の情報を加えて一列に並べる。分類用のトークンを含め、通常のTransformerエンコーダへ入力する。
この設計は画像を「文章と同じもの」とみなす意味ではない。パッチの切り方、事前学習する画像群、転移先での調整が結果を左右する。論文の核心は、単純な構成でも十分な規模で学習すれば画像認識に使えるかという実証である。
どう検証したか
著者らはImageNet、より大きなImageNet-21k、社内データのJFT-300Mなど異なる規模の画像集合で事前学習し、複数の分類データへ微調整した。比較対象には当時の畳み込みモデルも置き、精度だけでなく事前学習時の計算量を論じる。パッチの大きさやモデル規模を変えた結果も示した。
この比較で重要なのは、転移先の成績に事前学習データの規模が含まれる点だ。小規模データで最初から学習する場合と、大規模なデータで特徴を得てから転移する場合は別の設定である。また、JFT-300Mは公開データではないため、全条件の再現性には差がある。
パッチを小さくすると入力の列が長くなり、細部の情報を残しやすい一方で処理量にも影響する。論文はモデルの大きさとパッチサイズの異なる構成を比較している。事前学習済み重みを転用する場合、転移先で画像の解像度が変わることへの対応も必要になる。これらは「Transformerを使った」という名称だけでは分からない設計差だ。比較表では、事前学習データ、入力解像度、微調整の設定を同時に読む。
何が分かったか
大規模事前学習の後に各データへ転移したViTは、論文で選んだ画像分類の複数ベンチマークで強い成績を示した。畳み込みに比べて画像特有の設計を抑えても、高い性能を得られることを実験で示したのである。一方、事前学習に使うデータが小さい場合は畳み込みモデルに見劣りする場面があり、データ規模による差を著者ら自身が強調している。
この結果は「Transformerがあらゆる画像で優れる」という順位表ではない。訓練データと計算条件を含めた設計全体の結果として読む必要がある。
限界は何か
論文が扱う中心課題は画像分類であり、物体検出や画像生成などで同じ構成が適切とは確かめていない。事前学習の巨大データを利用できる組織と、少数の独自画像しか持たない組織では条件が大きく違う。JFT-300Mを使う成績は、データの中身を完全に検証できる公開実験とも異なる。
画像をパッチに分割する設計には、細部や小さな対象をどう保持するかという実務上の論点もある。論文の分類結果だけから、小さな欠陥の発見や局所位置の特定に十分だとは言えない。
仕事との接点
自社画像にViTを試すなら、利用する事前学習済み重みの出所とライセンス、対象画像との違いを先に確認する。少量データでの転移精度に加え、見逃しやすい小物体、撮影環境の変化、計算コストを比較する。これはTRAIL編集部の提案であり、原論文は特定企業の現場画像を評価していない。