- Swin Transformerは局所的な注意窓と、ずらした窓を交互に使う階層型の画像モデルだ。
- 初版要旨ではImageNet-1K top-1 86.4%、COCO box AP 58.7、ADE20K mIoU 53.5を報告した。
- 画像サイズに対する線形の計算量は、固定サイズの局所窓などの設計条件に基づく。
何を確かめた研究か
文章向けのTransformerを高解像度の画像にそのまま使うと、画素やパッチの数が増えるほど注意計算が重くなる。画像では小さな物体と大きな物体を同時に扱う必要もある。Swin Transformerの論文は、画像向けの階層構造と局所的な注意で、分類から密な予測まで共通の土台を作れるかを調べた。
モデルは画像を小さなパッチへ分け、段が進むごとにパッチをまとめて解像度を下げる。注意計算は一定サイズの窓の中に限定する。次の層では窓の位置をずらし、前の層で別々の窓にいたパッチをつなげる。局所計算だけで終わらせず、窓をまたぐ情報交換を作る仕組みだ。
何を測ったか
初版要旨ではImageNet-1Kの画像分類でtop-1精度86.4%、COCOの物体検出でbox AP 58.7、インスタンス分割でmask AP 51.1、ADE20Kの意味分割でmIoU 53.5を報告する。これらは異なる課題の指標なので、一つの数字にまとめて優劣を決められない。比較には各課題のヘッド、学習データ、画像解像度の条件が関わる。
論文の「画像サイズに対して線形」は、注意窓の大きさを固定し、局所窓で計算する設計に関する説明である。実際の速度やメモリは窓の移動、特徴マップの段数、実装環境にも左右される。理論上の増え方と特定の端末での実測は区別したい。
なぜ階層構造が重要か
物体検出や領域分割では、画像全体のラベルを一つ出すだけでなく、位置や境界を扱う。複数の解像度の特徴を持つSwinは、こうした密な予測の土台として利用しやすい。論文の貢献は単一の最高スコアだけでなく、さまざまな画像課題へ同じ構造を持ち込めた点にある。
限界と仕事との接点
研究結果は指定されたデータセットと学習条件での比較で、病理画像や小型端末での最適性を保証しない。分類、検出、分割のどれを必要とするかで採用基準は変わる。業務では対象画像の解像度で精度と処理時間を測り、窓の設定や入力サイズを記録したい。これはTRAIL編集部の実務提案であり、論文が個別の運用環境を検証したわけではない。