- Spatial Transformerは入力から変形パラメータを予測し、格子生成とサンプリングで特徴画像を変える。
- 歪ませたMNISTの回転・移動・拡大縮小条件では、CNNの誤り率0.8%に対しST-CNNは0.6%だった。
- 改善は論文の変形生成条件に依存し、変形後の画像が常に意味を保つ保証ではない。
何を確かめた研究か
Spatial Transformer Networksの原論文は、画像の中の対象が移動、回転、拡大するとき、CNN自身が必要な領域へ視点を合わせられるかを調べた。位置を推定する小さなネットワーク、出力側の格子を作る処理、入力から画素をサンプリングする処理を一つの微分可能なモジュールにする。別途「正しい変形」の教師ラベルを用意せず、最終課題の損失から学べる。
どう検証したか
MNISTの数字を人為的に移動、回転、射影変形、弾性変形させ、元のCNNや全結合モデルと比較した。表1では各実験の基盤構造とパラメータ数をそろえる。SVHNの複数桁認識や鳥の分類も試し、数字だけの実験で結論を閉じない。変形方法にはアフィンや射影などがあり、どれを選ぶかもモデル設計の一部である。
何が分かったか
表1の回転・移動・拡大縮小（RTS）条件でCNNの誤り率は0.8%、射影ST-CNNは0.6%、薄板スプラインST-CNNは0.5%だった。一方、弾性変形ではCNN 1.4%、アフィンST-CNN 1.1%で、変形の種類と表現能力で差が変わる。モデルが見る場所を学ぶ効果はあるが、全条件で同じ改善幅ではない。
サンプリングで入力のどこを読むかを決める変形は、学習中に分類の正解から間接的に調整される。画像全体の位置を知る注釈を与える方法とは異なり、分類に役立つ切り出しを学ぶ仕組みだ。そのため変形パラメータを、人が期待する物体位置の正解として扱うべきではない。
限界と仕事との接点
極端な変形や小さな対象では、切り出しによって必要な情報を失う可能性がある。論文も固定したサンプリング核で縮小する際のエイリアシングに触れる。導入時は実画像で起こる変形を調べ、元モデルと同じ訓練・評価分割で比較し、切り出し先の失敗も点検する。後半はTRAIL編集部の提案である。
01