- DETRは物体検出を、画像から重複しない予測の集合を直接出す課題として設計した。
- COCOで調整したFaster R-CNNと同程度の全体APを示した一方、小さな物体では成績が低かった。
- アンカーや重複除去を省けても、長い学習期間と対象物の大きさ別の検証が必要だ。
何を確かめた研究か
画像のどこに何があるかを答える物体検出では、候補の枠を大量に作り、最後に似た枠をまとめる構成が広く使われてきた。DETRの初版論文は、この処理を一つのモデルで直接学べるかを問う。検出結果は順序を持たない集合なので、予測の並び方に依存せず正解と対応付ける必要がある。
DETRは畳み込みネットワークが取り出した画像特徴をTransformerのエンコーダとデコーダに渡す。固定個数の学習可能な「物体クエリ」から、分類結果と枠を並列に出す。正解に対応しないクエリは「物体なし」を予測する。ここで固定個数とは、画像にその数だけ物体があると決めつける意味ではない。
どう検証したか
学習時には二部マッチングで各正解物体に一つの予測を割り当て、その組み合わせについて分類と枠の損失を計算する。重複を減らすための後処理である非最大抑制や、位置と大きさをあらかじめ決めたアンカーを必要としない設計だ。論文はCOCOの検証集合で、調整したFaster R-CNN群と比べた。
比較表では、ResNet-50を使うDETRの全体APは42.0で、強化したFaster R-CNN-FPN+の42.0と並ぶ。ただし同じ表の小物体APはDETRが20.5、Faster R-CNN-FPN+が26.6だった。一方、大物体APはDETRが61.1、比較対象が53.4で、対象の大きさにより優劣が変わる。論文の条件下で得た数値であり、別の画像集合で同じ差が出る保証はない。
何が分かったか
DETRは、集合としての対応付けとTransformerを組み合わせることで、検出器に特有の複数の手作業による部品を減らしながら、比較対象と同程度の全体精度を示した。予測を順に出す方式ではなく、クエリを使って並列に出す点も設計上の特徴だ。論文は、同じ枠を何度も出さないように学ぶ仕組みを損失関数に置いている。
これは「Transformerを使えば従来方式をあらゆる条件で上回る」という結果ではない。モデルを学習できるまでの費用も含めて比較する必要がある。論文の長期学習設定は500エポックであり、短い実験だけから最終精度を判断しにくい。
限界は何か
小さな物体のAPは比較対象より低い。文書中の小さな印、遠景の車、人影などが重要な仕事では、全体APが同じでも実用上の差は大きくなり得る。解像度や物体サイズの分布がCOCOと異なるデータへ、そのまま数字を移せない。
また、アンカーや非最大抑制の削減は実装の見通しを良くするが、学習に必要な時間まで自動的に短くするわけではない。使用する骨格モデル、画像サイズ、ハードウェアも速度に影響する。全体精度と速度を一つの数値だけで判断するのは危うい。
仕事との接点
検出器の選定では、DETRを候補に加え、実際の画像で小・中・大の物体を分けて成績を測る。誤検出と見逃しの費用、学習から運用までの時間も同じ条件で比べたい。これは論文の測定結果を実務の判断に移すためのTRAIL編集部の提案であり、個別の業務への適合を論文が保証するものではない。