- SqueezeNetはFireモジュールを使い、AlexNetに近いImageNet分類精度を小さいモデルで得た。
- 第4版の表2では圧縮前4.8MB、AlexNet 240MB。SqueezeNetはtop-1正解率57.5%、AlexNetは57.2%だった。
- 6ビットの追加圧縮後は0.47MBで、圧縮前のサイズや実行メモリと混同しない。
何を確かめた研究か
画像認識モデルを端末へ配るとき、学習済み重みの容量は配信時間や保存領域に影響する。SqueezeNetの論文は、当時のAlexNetと同程度の精度を、はるかに小さい重みで得られるかを調べた。1×1畳み込みを多く使い、層の前で特徴数を絞るFireモジュールが中心となる。
どう検証したか
ImageNet分類でAlexNetとSqueezeNetを比較し、top-1とtop-5の正解率、重みファイルの大きさを表2に載せた。さらに重みを量子化などで圧縮するDeep Compressionを適用する。未圧縮のモデル構造の効果と、追加圧縮の効果を分ける必要がある。
Fireモジュールは1×1畳み込みで一度特徴数を減らし、その後に1×1と3×3を組み合わせて広げる。論文はモジュールの構成比やバイパス接続も試しており、単にパラメータを削るだけで精度を保てたわけではない。
何が分かったか
表2では未圧縮のSqueezeNetが4.8MB、AlexNetが240MBで約50分の1。top-1正解率はそれぞれ57.5%と57.2%、top-5は共に80.3%だった。6ビットのDeep Compressionを重ねるとSqueezeNetは0.47MBになり、AlexNetに対して約510分の1の容量だった。圧縮後も表中の正解率は57.5%と80.3%である。
ただし0.47MBは重みの保存容量で、処理中の活性化やプログラムを含む端末の総メモリではない。モデルサイズの小ささがそのまま推論の速さや省電力性を保証するわけでもない。
限界は何か
精度は当時のImageNet分類で測ったもので、物体検出や現場固有の画像への適合性を示さない。圧縮方式や端末の演算装置によって、保存容量と実際の遅延の関係は変わる。モデル配布の利点と、使用時の計算費用を切り分けて評価したい。
仕事との接点
端末向け画像モデルを選ぶなら、配信容量、ピークメモリ、消費電力、対象画像の精度を同じ端末で記録する。これは論文の小型化の目的から導くTRAIL編集部の提案であり、論文の0.47MBを現在の製品全体の容量として扱わない。