- Faster R-CNNはRegion Proposal Network（RPN）を検出器と結び、画像全体の畳み込み特徴を共有する。
- VOC 2007のZF構成では、RPNの300候補でmAP 59.9%、Selective Searchの2000候補で58.7%だった。
- VGG-16構成の5fpsは論文のGPU上で全段階を含む値で、端末一般の速度ではない。
何を確かめた研究か
Faster R-CNNの原論文は、物体検出の前に候補領域を探す処理が遅くなっていた問題を扱った。画像全体の畳み込み特徴を一度計算し、RPNが各位置で物体らしさと枠を予測する。Fast R-CNNの分類・枠補正と同じ特徴を共有することで、候補生成を検出器の中へ組み込んだ。
どう検証したか
PASCAL VOC 2007で、Selective Search、EdgeBoxes、RPNによる候補を比較した。表2ではZF特徴抽出器を使い、訓練時とテスト時の候補方式を明示する。違う方式で訓練した検出器へRPN候補だけ差し替えると性能が落ちるため、候補数だけの比較にはできない。より深いVGG-16の全処理速度も測る。
何が分かったか
表2で、訓練・テストともSelective Searchを使った2000候補はmAP 58.7%。特徴を共有したRPNの300候補は59.9%だった。一方、Selective Searchで訓練してテストだけRPNへ替えると56.8%である。候補方式をそろえて学習する重要性が分かる。VGG-16の構成では約5fpsを報告したが、GPUと実装付きの値だ。
RPNは各位置に複数の大きさと縦横比の基準枠を置き、その枠の物体らしさと座標の修正量を予測する。重複する候補は非最大抑制で整理する。したがって提案数を減らしたという結果も、基準枠、抑制の設定、後段の分類器を含む一つのシステムとして理解する必要がある。
限界と仕事との接点
物体の大きさや縦横比への対応には複数のアンカーを使う。特定のデータで良い枠設定が、別の小物体や縦長画像へ合うとは限らない。業務画像では候補の再現率、最終mAP、処理時間、対象ごとの見逃しを同じ入力条件で確認する。後半はTRAIL編集部の提案である。
01