- MAEは、画像を小さな区画に分けて約75%を隠し、残りから元の画像を復元するよう学習する。
- 大きなエンコーダは見えている部分だけを処理する。論文は事前学習を3倍以上速くできた設定を報告する。
- ImageNetでの高い正答率は、転用先の全ての画像で同じ結果が出るという意味ではない。
何を確かめた研究か
画像に正解ラベルを付けずに、認識に使える表現を学ぶにはどうすればよいか。MAEの論文は、画像の一部を隠し、残りから欠けた画素を予測する自己教師あり学習を調べた。文章で単語を隠す方法に似ているが、画像では隣の画素が似ていることが多い。少し隠すだけでは簡単に復元でき、意味のある特徴を学ばないかもしれない。
そこでMAEは、画像を区切ったパッチの約75%を無作為に隠す。大きなエンコーダには見えている約25%だけを入力し、軽いデコーダが隠した部分を復元する。学習後はデコーダを外し、エンコーダを認識の仕事に使う。重要なのは復元した画像を納品することではなく、復元を通して使える画像表現を得ることだ。
どう検証したか
研究チームはImageNet-1Kで事前学習し、マスク率、デコーダの大きさ、復元対象などを変えて比べた。さらに、ラベルを使った追加学習後の分類正答率と、特徴を固定した評価を区別して調べた。転用先の仕事でも、教師あり事前学習との比較を行った。
学習速度の比較では、大きなエンコーダが隠したパッチを処理しなくて済むことが効く。論文は3倍以上の速度改善を報告するが、これは論文の事前学習設定における改善だ。実運用の画像処理が常に3倍速くなるという数字ではない。
何が分かったか
高い割合を隠した条件は、パッチが少し欠けるだけの簡単な復元より、後の認識に役立つ表現を得られた。ImageNet-1Kだけを事前学習データに使ったViT-Hugeモデルは、追加学習後の分類で87.8%の正答率を示した。論文は、このデータだけを使った当時の比較方法の中で最高の結果と位置付けている。
MAEは「ラベルなしで学習できる」ことと「大きなモデルの事前学習を計算しやすくする」ことを同時に示した。ただし、モデルの規模、事前学習時間、追加学習の設定が結果に関わる。87.8%だけを取り出して、あらゆる方法との公正な順位にすることはできない。
限界は何か
主要な数値はImageNet-1Kを軸にした評価である。医療画像、製造現場の傷、衛星画像など、見た目や必要な判断が異なる画像での性能は別に調べる必要がある。隠した画素を復元できることも、その画像について利用者が必要とする説明や安全性を保証しない。
また、事前学習の効率と、配備後に1枚の画像を認識する時間は異なる指標だ。前者の速度向上を後者の運用費用へ直接換算できない。用途に合わせて、教師あり学習との比較条件をそろえることが重要になる。
仕事との接点
ラベル付き画像が少ない場合、MAEのような自己教師ありの事前学習は検討対象になる。自社データで事前学習と追加学習を分けて費用を測り、最終的な業務画像での正答率を確認する。これは論文の手法と評価範囲を踏まえたTRAIL編集部の提案であり、特定の現場での改善を論文が示したものではない。