- DenseNetは各層の特徴マップを後続の全層へ渡し、特徴の再利用を促す畳み込みネットワークである。
- 第5版のImageNet検証ではDenseNet-121の単一cropのtop-1誤り率が25.02%、DenseNet-201が22.58%だった。
- パラメータ数とFLOPsの比較は有益だが、実機の推論遅延やメモリは別に測る必要がある。
何を確かめた研究か
深い画像モデルでは、初期層の情報を後の層に運ぶ経路が重要になる。DenseNetは、各層の出力を後続の全層へ連結して渡す構造を提案した。層数をLとすると直接の接続はL(L+1)/2本になる。既に計算した特徴を後の層でも使える点が設計の中心だ。
どう検証したか
著者らはCIFAR-10、CIFAR-100、SVHN、ImageNetで分類を評価し、深さや各層が追加する特徴数を変えた。圧縮やボトルネック層を加えたDenseNet-BCも試す。ImageNetでは単一cropと10-cropの誤り率を別に表3へ示し、図3ではResNetとパラメータ数・FLOPsに対する精度を比べた。
各層の出力を単に足し合わせる残差接続と違い、DenseNetは特徴マップを連結する。比較時にはこの構造差を含めて評価する必要がある。
何が分かったか
表3のImageNet検証集合で、DenseNet-121の単一crop top-1誤り率は25.02%、DenseNet-201は22.58%だった。図3では同程度の誤り率を得るために必要なパラメータやFLOPsがResNetより少ない構成がある。たとえば本文はDenseNet-201が約2千万パラメータで、4千万超のResNet-101と近い誤り率だと述べる。ただしモデル間の深さ、学習条件、実装上の特性が完全に同一というわけではない。
限界は何か
パラメータが少なくても、全層の特徴を受け渡す実装でメモリ使用量やデータ移動が問題になることがある。論文のFLOPsは実機の遅延ではない。分類の誤り率を、検出や分割など別の課題へ直接移すこともできない。
仕事との接点
端末やサーバー向けの画像モデルを比べるなら、同じ画像、解像度、機器で精度、遅延、ピークメモリを測る。これは論文のパラメータ効率の議論から導くTRAIL編集部の提案であり、論文が現在の実機環境を比較したわけではない。