- ニューラルスタイル転写は事前学習したCNNで、画像内容の特徴と画風を表す特徴間相関を別に扱う。
- 生成画像を繰り返し更新し、内容損失と画風損失の重み付き和を小さくする。
- 原論文の主な根拠は再構成画像と合成画像の図であり、内容保持の数値保証ではない。
何を確かめた研究か
A Neural Algorithm of Artistic Styleの原論文は、写真の構図を残しながら絵画の質感を移せるかを調べた。画像分類向けに事前学習したVGGネットワークを固定し、その上層の特徴応答を内容の表現として使う。一方、各層の特徴同士の相関をGram行列で表し、色や局所的な模様の統計を画風の近似とする。
どう検証したか
まず内容画像を異なる層の特徴から再構成し、下層では細部が残り、上層では物体の大まかな形が残る様子を図1で示す。画風画像についても複数層の相関だけから再構成し、局所的な質感は残るが全体配置は失われる様子を示した。図2・3では二つの損失の重みを変え、写真と絵画を組み合わせる。生成は画像ごとの反復最適化である。
何が分かったか
内容損失と画風損失の重みを変えると、写真の構図を強く残す画像から、絵画の質感が強い画像まで連続的に作れた。論文の図2では内容にconv4_2、画風にconv1_1からconv5_1の複数層を使う。ただし「内容」と「画風」はこの特徴表現と損失で定義されたもので、人が重視する全ての意味や作者固有の技法を分離した証明ではない。
特徴間相関は画像のどこに模様があるかを厳密には保持しないため、画風画像の全体構図を再現する方法ではない。これが別の写真の形を残しつつ質感を変えられる理由にもなる。一方、色や細部の変化が業務上の情報を壊す可能性もあり、「画風だけ」の変更と簡単に呼べない。
限界と仕事との接点
図による視覚的な例は方法の可能性を示すが、同じ品質があらゆる写真と画風の組み合わせで得られることを測っていない。変換後に対象の色、位置、輪郭が変わることもある。実務の画像加工では見た目の好みと、商品や図面の重要な意味が残るかを別に確認する。後半はTRAIL編集部の提案である。
写真の事実を示す画像では、質感の変換で新しい要素があるように見えないか特に注意したい。