- CycleGANは対応する画像の組がなくても、二つの画像集合の間の見た目の変換を学ぶ。
- 地図と航空写真の実験では、人が「本物」と判断する率が比較手法より高かった。
- 元へ戻せる制約だけでは、意味や形が必ず保たれるとは言えない。
何を確かめた研究か
CycleGANの原論文は、写真を絵画風に、夏の景色を冬の景色にするような画像変換を、入力と完成画像の一対一の正解例なしで学べるかを問う。対になる画像を集めるのは難しいため、二つの集合から別々に集めた写真や絵を使う。
生成器はXからYへ変換し、別の生成器がYからXへ戻す。敵対的学習で変換先の集合らしい見た目にし、往復して元画像へ近づくよう「cycle consistency」を課す。往復できることは入力の構造を保つ助けになるが、意味の正しさを完全に保証する条件ではない。
どう検証したか
論文は地図と航空写真、馬とシマウマ、絵画と写真などを使う。地図と航空写真では256×256の画像を人に見せ、本物かどうかを判定させた。Cityscapesでは生成画像からラベルを予測する別モデルの得点を代理指標にし、対応画像で学ぶpix2pixや他の非対応手法と比較した。人の「本物らしさ」とラベルの正しさは別の指標だ。
何が分かったか
表1の地図→航空写真では、人が本物と判断した率はCycleGANが26.8%、CoGANが0.6%。逆向きはCycleGANが23.2%、CoGANが0.9%だった。見た目の比較での改善であり、変換が事実を忠実に保つ割合ではない。
Cityscapesの写真→ラベルでは、表3のper-pixel accuracyがCycleGAN 0.58、対応画像を使うpix2pix 0.85。非対応データを使う利点はあるが、対応付きの教師データがある場合の性能差も大きい。表4・5の要素除去実験は、敵対的損失と往復制約がそれぞれ必要なことを示す。
限界と仕事との接点
§6では犬を猫へ変えるような形の大きな変更に失敗し、馬に人が乗る場面など学習集合にない組み合わせにも弱いと述べる。木と建物のラベルを入れ替える例もあり、往復制約だけで意味対応は固定できない。業務画像の変換では、自然に見える出力に加え、対象の有無、位置、危険な変化を人が確認する。これはTRAIL編集部の提案である。