- EfficientNetは画像モデルを拡大するとき、深さ、幅、入力解像度を一緒に調整する方法を提案した。
- 初版論文の詳細表では、B7がImageNetのtop-1正答率84.4%を66百万パラメータで達成した。
- 精度と実行費用の比較には、同じ画像集合と機器で測った値が必要だ。
何を確かめた研究か
画像認識モデルの精度を上げるには、層を深くする、各層を幅広くする、より高い解像度の画像を入れる、といった方法がある。どれか一つを増やすだけでは、費用が増えても精度の改善が鈍くなり得る。EfficientNetの初版論文は、三つの大きさをバランスよく増やす方法を調べた。
提案した「複合スケーリング」は、用意した計算予算に応じて深さ、幅、解像度を固定比率で拡大する。基礎となるモデルの構造も探索し、それをB0からB7まで複数の規模へ展開した。つまり、結果は比率の工夫と、探索で得た基礎モデルの両方を含む。
どう検証したか
論文はMobileNetとResNetにも複合スケーリングを試し、単一の次元だけを増やす方法と比べた。さらに、ImageNetの画像分類でEfficientNet系列を評価し、従来の畳み込みモデルと精度、パラメータ数、計算量、推論速度を比較した。別の画像分類データセットへの転用も調べている。
たとえば表7では、基礎モデルと同じ系列を約1.8〜1.9十億回の演算へ増やした条件を比較する。深さのみはtop-1正答率79.0%、幅のみは78.9%、解像度のみは79.1%で、複合方式は81.1%だった。この組では三つを合わせる利点が見える。ただし一つの系列と予算の比較である。
何が分かったか
詳細表ではEfficientNet-B7はImageNetのtop-1正答率84.4%、66百万パラメータを報告した。比較対象のGPipeは84.3%、557百万パラメータで、B7のパラメータ数は約8.4分の1である。論文は特定の測定環境で推論も約6.1倍速いと述べる。これは画像分類用モデルの精度と費用を合わせて改善した結果だ。
数字を読む際には論文内の表記差がある。要旨にはB7の精度が84.3%とある一方、本文の詳細表と速度表は84.4%と記す。ここでは条件の見える詳細表の値を使った。比較の結論は小数点第一位の差だけでなく、パラメータと推論費用を合わせて判断したい。
限界は何か
ImageNetと転用先の画像分類で得た結果は、物体検出、画像生成、医療画像などの別課題をそのまま代表しない。大きな画像を入力すれば、保存・通信・前処理の費用も増える。推論速度の比率は使用した機器と実装によって変わる。
また、基礎モデルを探索してから拡大しているため、B7の全成績を複合比率だけの効果とみなせない。論文は別の基礎モデルでも比率の有効性を検証しているが、独自のモデルや別の予算で同じ係数が最適とは限らない。
仕事との接点
画像分類のモデルを選ぶなら、実際の画像サイズと推論機器で、精度、遅延、パラメータ、消費電力を同時に測る。必要な精度を満たす最小のモデルがどれかを見れば、B7のような最大モデルを常に選ぶ必要はない。これは論文の評価方法を実務へ移すTRAIL編集部の提案であり、個別の現場での効果を論文が測定したものではない。