- Mask R-CNNはFaster R-CNNの枠検出へ、物体ごとの領域マスクを予測する枝を加える。
- RoIAlignは特徴画像からの切り出し時の位置ずれを減らし、比較実験ではマスクAPを約3点改善した。
- COCOでの精度と5fpsという速度はモデル構成と計算環境付きの結果だ。
何を確かめた研究か
Mask R-CNNの原論文は、画像中の物体がどこにあるかを枠で示すだけでなく、同じ種類の物体を一つずつ輪郭で分ける「個体分割」を扱う。人が二人並ぶ画像で、両者を一つの人物領域にまとめず、それぞれのマスクを出す課題だ。
Faster R-CNNが持つ分類と枠の予測に、各候補領域の画素ごとのマスクを出す小さな枝を並列に加える。もう一つの重要な変更はRoIAlignである。従来のRoIPoolが候補領域の座標を丸めるのに対し、RoIAlignは座標を丸めずに特徴を取り出し、輪郭と入力画像の位置を合わせやすくする。
どう検証したか
COCOの個体分割を主な評価にし、同じ枠組みで物体検出と人物の関節点推定も試す。表1はCOCO test-devのマスクAPを複数の画像特徴抽出器で比較する。表2ではRoIAlign、マスクのクラス別予測、特徴抽出器などを一つずつ変え、寄与を調べる。マスクAPは予測輪郭と正解輪郭の重なりを複数の閾値で集約した指標で、輪郭が人の作業に十分かどうかを直接表す値ではない。
何が分かったか
表1でResNet-101-FPNを使うMask R-CNNのCOCO test-devマスクAPは35.7。比較されるFCIS+++は33.6だが、後者は複数尺度や左右反転など追加の推論処理を使う。表2cではRoIAlignにより、ResNet-50-C4の条件でRoIPoolよりマスクAPが約3点良くなった。高い重なりを求めるAP75での差が特に大きい。
論文はResNet-101-FPNの構成で約5fpsと報告する。速度を別のGPUや画像サイズに移すことはできない。表1ではResNeXt-101-FPNを使うと37.1へ上がるため、Mask R-CNNという名前だけで単一の精度を示すわけでもない。
限界と仕事との接点
COCOは一般的な画像集合だが、医療画像、工場の小さな欠陥、重なりの多い監視映像に対する精度を保証しない。個体ごとのマスクには輪郭の注釈が必要で、対象の種類と作業環境が変われば再評価が要る。導入時は枠の発見、輪郭、見逃し、実行速度を別々に測る。最後はTRAIL編集部の提案である。