Research / 基盤技術 · 評価

画像生成で品質と多様性をどう両立するか BigGAN

大規模な画像生成モデルをImageNetで学習し、生成画像の品質と多様性の折り合いを調べた。固定した初版ではIS166.3、FID9.6を報告するが、両指標を利用者の好みと同一視できない。

論文初公開(arXiv)
参照版
v1
TRAIL公開
  • BigGANは画像生成モデルを大きくしたときの品質と不安定さを調べた。
  • arXiv初版のImageNet 128×128条件ではIS166.3、FID9.6を報告した。
  • 潜在変数を絞ると見た目と多様性の折り合いが変わり、学習崩壊も残る。

何を確かめた研究か

画像を作る敵対的生成ネットワーク(GAN)は、より大きなモデルで高品質な画像を作れる一方、学習が不安定になる。BigGANの論文は、ImageNetのクラスを指定して画像を作る課題で、規模を増やした効果と失敗の条件を調べた。品質だけでなく、異なる画像をどれだけ作れるかも問題にする。

どう検証したか

従来より大きいモデルとバッチで学習し、生成器への直交正則化などを加えた。入力の潜在変数の分布を絞る「truncation」で、生成結果の鮮明さと多様さがどう変わるかを見る。ImageNetの128×128画像では、Inception Score(IS)とFréchet Inception Distance(FID)を従来のクラス条件付き手法と比較した。ISは高いほど、FIDは低いほど良い方向を示す自動指標だが、同じ品質の尺度ではない。

truncationは画像を作るときの入力の広がりを狭める。よく学んだ領域の入力に寄せると整った画像が出やすいが、珍しい構図や種類が出にくくなる可能性がある。著者らはこの調節を品質と多様性の交換条件として調べた。少数の見本だけを見ると、種類が減ったことに気付きにくい。

何が分かったか

固定したv1の要旨と本文はIS166.3、FID9.6を報告し、以前の最高値IS52.52、FID18.65を上回った。潜在変数を絞ると、ある範囲ではFIDが改善する一方、画像の種類が減る。単一の点数だけで品質と多様性の両方を表せない。大規模化によって学習が途中で崩れる現象も観察し、完全に安定させるには性能を大きく犠牲にすると論じた。規模を増やせば必ず最後まで安定して学習できるという結果ではない。

学習の崩壊は画像の採点値を読む際にも重要だ。論文は、途中で保存したモデルの状態を評価しており、長く学習すればそのまま改善し続けるとは示していない。計算資源を増やすだけで安定性が解決するわけではない。異なる版の数値も同じ実験の更新結果として扱わず、参照版を固定する。

限界は何か

v1の値は後の版や要旨メタデータのIS166.5、FID7.4と異なる。この記事は2018年公開のv1本文に固定し、数字を混ぜない。実験はImageNetのクラス条件付き画像が中心で、自由な文章からの画像生成や実務のデザイン制作を測らない。ISとFIDは自動指標で、人が好む画像、偏り、権利などを直接評価しない。

仕事との接点

生成画像を利用するなら、少数の見栄えの良い例だけでなく、同じ条件で多数を作ったときの変化と失敗例を確認する。品質を高める設定が、必要なバリエーションを減らしていないかも見る。これは論文のtruncation分析を応用した編集部の提案で、ISやFIDを顧客満足の値にはしない。

01

出典

Research の一覧へ戻る