- 物体の種類と位置を示す配置図から画像を生成した。
- 正規化の係数を画素位置ごとに配置図から作り、意味情報を各層へ伝えた。
- COCO-StuffではmIoU37.4、FID22.6を報告した。
何を確かめた研究か
画像のセグメンテーション図には空や木などの物体がどこにあるか示される。通常の生成器へ最初に一度だけ入力すると、途中の正規化で位置情報が薄れる。SPADEは配置図から場所ごとの拡大・平行移動係数を作り、生成器の複数層へ意味情報を保ったまま渡す方法を提案した。
どう検証したか
COCO-Stuff、ADE20K、Cityscapesなどの配置図と実画像の組で学習した。生成画像を別のセグメンテーションモデルへ入力し、元の配置図を再現できるかを平均IoUと画素正解率で測る。FIDで画像分布の近さを測り、人間がどちらを好むかも調べた。既存のCRN、pix2pixHD、SIMSと比較し、SPADEを別構造へ入れた切除実験も行った。
何が分かったか
固定v1の表1でCOCO-StuffのSPADEはmIoU37.4、FID22.6。pix2pixHDはmIoU14.6、FID111.5だった。CityscapesではSPADEのmIoU62.3、FID71.8に対し、SIMSはmIoU47.2、FID49.7。つまりCityscapesでSPADEの配置一致は高いが、FIDはSIMSより悪い。論文本文もこの例外に触れており、すべての指標で一律に勝つという表1の説明文をそのまま一般化しない。
表3の切除実験は、SPADE層を使った生成器の構造差を比較する。配置図を各層に単に連結する方法より、正規化を通じた空間別の条件付けが有効な条件を示す。ただし出力画像の正しさは、指定された配置図の範囲で測ったものだ。
限界は何か
生成された画像の細部が実在の場所や人物を忠実に再現するとは限らない。FIDは単一画像の意味の正しさを測らず、セグメンテーションモデルでの評価にはそのモデル自身の誤りが混じる。データ集合による背景や物体の偏りも残る。
仕事との接点
配置を指定する画像生成では、物体の位置を守ったか、自然に見えるか、避けるべき偽の細部がないかを別々に検査する。試作に有用でも、事実の証拠画像として扱わない。