- WGANは本物と生成データの分布差をWasserstein距離で捉え、生成器へ有用な学習信号を渡そうとする。
- 実験ではcriticの損失推移が生成画像の品質と比較的対応し、従来GANで崩れる構成でも学習が進んだ。
- 原論文の重みクリップは制約を実現する粗い方法で、著者自身が欠点を指摘する。
何を確かめた研究か
Wasserstein GANの原論文は、敵対的生成モデルで本物と生成画像の分布が離れているとき、判別器が簡単に見分けてしまい、生成器の更新に役立つ信号が弱くなる問題を扱う。二つの分布の違いを、質量を移す費用として考えるWasserstein距離へ置き換える。真偽を確率で出す判別器の代わりに、距離の近似を助ける実数値のcriticを学ぶ。
この距離を使う理論にはcriticの関数の変化率を制限する条件がある。原論文は実装を簡単にするため重みを一定範囲へクリップする。criticを複数回更新してから生成器を一回更新する手順も示す。
どう検証したか
低次元分布の例で距離の連続性を比較し、画像生成ではDCGAN系や多層パーセプトロンの生成器を使う。生成画像の例と、学習中のcriticの値を図3・4で並べる。比較は学習曲線と目視できる画像例が中心であり、現代的な大量の独立評価者による品質採点ではない。損失の数値を別のcritic構造のモデル間で直接比較できないことも論文が述べる。
何が分かったか
図3ではcriticの損失が下がる過程と生成画像の改善が対応する例を示す。図4の従来GANの損失推定は、画像が改善していても飽和したままの例があり、学習の進み具合を読み取りにくい。図6・7では、従来のGANが崩れる小さな生成器でも、WGANは画像を出し続ける例を示した。ただしWGANの画像が常に最高品質という結果ではない。
限界と仕事との接点
著者らは重みクリップをLipschitz制約の粗い実装と認め、幅が広すぎる・狭すぎる場合の問題を説明する。Adamの慣性や高い学習率で不安定になった例もある。WGANの損失を「画像品質の絶対点」として扱わず、同じ構成・設定内での進み具合の手掛かりにする。出力の多様さ、欠落した種類、品質を別に確認する。最後はTRAIL編集部の提案である。