- InfoGANはGANの潜在変数の一部と生成画像の相互情報量を高め、操作しやすい表現を学習する。
- MNISTではラベルなしの学習後に潜在変数が数字の形と傾き・線の太さなどを分ける例を示した。
- 一部の画像属性が分かれて見えることと、どの属性も完全に独立していることは異なる。
何を確かめた研究か
生成画像を作るモデルの潜在変数は、値を変えると画像が変わる。しかしどの値が何を変えるかは通常分かりにくい。InfoGANは、選んだ潜在変数から生成画像についての情報を読み取れるよう、GANの目的関数に相互情報量の項を加えた。属性ラベルを教えずに、操作可能な表現を作れるかが主題だ。
どう検証したか
相互情報量を直接計算するのは難しいため、論文は下限を使って最適化する。潜在変数の一部をカテゴリ値や連続値にし、生成画像からそれを推定する補助ネットワークを学習した。MNISTの手書き数字、3D画像、SVHNの街路番号、CelebAの顔画像で、変数を一つずつ変えて生成結果を見る。
数字のカテゴリ、傾き、線の太さといった要素が違う変数に現れるかが分かる。ただし、画像の例を選んで眺めるだけでは全データでの独立性は測れない。論文はMNISTのカテゴリ変数を数字に対応させると約5%の分類誤り率になるとも記すが、数字のラベルを使ってその対応を事後に決める分析であり、ラベル付き分類器を直接学習した結果ではない。
何が分かったか
図2ではMNISTのあるカテゴリ変数が数字の種類に、連続変数が傾きや線の太さに対応する様子を示す。SVHNでは中心の数字と背景の数字、CelebAでは髪型や眼鏡などの変化が現れた。属性ラベルなしでこのような操作軸を学べたことが成果だ。
ただし全ての変数が人間の名付ける属性と一対一に対応したわけではない。論文の図は代表的な変化を示すもので、未知のデータや全ての顔属性への一般化を証明しない。
限界は何か
学習対象は主に小規模な画像や顔のデータで、現代の高解像度画像や文章条件付き生成とは条件が違う。相互情報量を高めることは、社会的に望ましい属性分離や偏りの除去を保証しない。図から見える操作性と、人が安定して使える制御性は別に検証が必要だ。
仕事との接点
生成モデルの編集機能を選ぶ際は、目的の属性だけを動かして他の属性が保たれるか、複数の入力で確認する。これは論文の潜在変数操作実験から導くTRAIL編集部の提案であり、InfoGANが製品画像の編集品質を測ったわけではない。