- StyleGANの画像に現れる水滴状の模様と、細部の位置が動く問題を分析した。
- 重みのdemodulation、経路長正則化、構造変更などを段階的に試した。
- FFHQのFIDは基準4.40から最終構成2.84へ改善したが、一つの変更だけの効果ではない。
何を確かめた研究か
画像生成は高い品質指標を得ても、人には気になる規則的な欠陥が残る。StyleGAN2の原論文は前世代StyleGANで生じる水滴状の模様や、画像の細部が座標に張り付く現象を調べた。画風を層ごとに与える仕組みを保ちながら、正規化と生成器の構成を変えて欠陥を減らす。
どう検証したか
著者らは重みのdemodulationで従来のデータ依存の正規化を置き換えた。潜在変数を少し動かした時に画像が不自然に大きく変わらないよう、perceptual path lengthを正則化した。さらに解像度を段階的に増す訓練を見直した。FFHQとLSUN Carで、FID、path length、precision、recall、画像例を並べ、構成AからFまで順に比較した。
何が分かったか
表1のFFHQでは基準構成AのFID4.40、path length195.9から、複数変更後の構成FはFID2.84、path length129.4となった。途中の構成Dではpath lengthが139.2へ下がる一方、LSUN CarのFIDは構成C2.83からD3.43へ悪化した。指標同士の取引関係があり、単一の総合点では済まない。
構成Fは重みdemodulationだけでなく、正則化、成長方法、ネットワークの大きさも変えている。従って4.40から2.84の差を一つの部品の単独効果にしてはいけない。論文は画像例も示し、数値に表れにくい欠陥を視覚的に確認した。
限界は何か
FIDやpath lengthは有限の特徴抽出器や距離に依存し、人の好みや用途上の正確さを完全には測らない。FFHQは顔写真を中心とするデータで、商品画像や医療画像へ同じ品質改善を保証しない。生成画像の利用時には、出所や人物の同意など別の問題も検討が必要になる。
仕事との接点
生成画像を採用する前に、数値指標と目視の両方で繰り返し現れる欠陥を調べる。構成を一つずつ変え、品質、多様性、編集のしやすさ、計算費を別に記録する。