- 初代StyleGANは、画像生成の各層にスタイルを与える構造を提案した。
- 顔画像FFHQで、表1の基準構成のFID8.04に対し最終構成は4.40だった。
- 顔の生成で観察した制御性を、全種類の画像へそのまま広げられない。
何を確かめた研究か
GANの入力を少し変えたとき、画像のどの特徴が変わるか分かりにくい。StyleGANの論文は、生成器の構造を変え、顔の大きな特徴と細部の揺らぎを分けて扱えるかを調べた。学習時に顔の属性ラベルを与えて分離を直接教える方式ではない。
どう検証したか
入力の潜在変数を別の中間空間へ写し、画像を作る各層にスタイルとして渡す。細かなランダム変化には各層へのノイズ入力を使う。層ごとのスタイルを別の入力から混ぜる実験で、粗い層と細かい層がどの特徴へ作用するかを観察した。顔のCelebA-HQと、新たに集めた70,000枚の高解像度顔画像FFHQで比較した。FIDに加え、潜在空間の経路の滑らかさと属性の分離を測る指標も提案した。
生成器の「スタイル」は人が指定した属性名そのものではない。中間の潜在変数から各層へ与える数値であり、学習データから自然に分かれた要因を操作する。論文の例では顔の姿勢や髪、微細な表面の変化が観察されたが、すべての属性を独立して確実に動かせる操作盤ではない。
何が分かったか
表1のFFHQ列では従来型の基準構成AがFID8.04、調整を加えた基準構成Bが5.25、最終のスタイル構成Fが4.40だった。したがって8.04から4.40までの差をスタイル入力だけの効果とは言えない。段階的な改造と学習条件の調整が含まれる。図の混合実験では、粗い層は姿勢など大きい特徴、細かい層は色や微細な見た目に作用する傾向があった。ノイズ入力は、そばかすや毛髪のような確率的な細部に影響した。
表1の構成BからFまでも、スタイル、ノイズ、混合時の正則化などが段階的に加わる。FIDの改善を一つの部品だけの手柄にしないことが重要だ。論文は経路長と線形分離の指標を加えて、画像の見た目だけでは測れない潜在空間の性質を調べたが、指標が人の評価すべてを代弁するわけではない。
限界は何か
FIDは生成画像と参照画像の分布の近さを測る自動指標で、個々の画像の品質や顔の公平な表現を保証しない。FFHQはFlickr由来の顔画像で、収集元と選別条件に依存する。属性の分離は提案指標と目視例での評価であり、完全に独立した操作ができる証明ではない。高解像度の学習には大きな計算資源も必要だ。
仕事との接点
画像生成の制御を評価するなら、指定した特徴を変えたとき、他の必要な特徴がどれだけ保たれるかを試す。見た目の例、同条件の定量指標、データの由来を併せて確認する。これは論文の比較設計を応用した編集部の提案で、顔画像のFIDを別用途の品質点には使わない。