- DreamBoothは被写体の少数の写真から画像生成モデルを調整し、固有の識別子をその被写体に結び付ける。
- クラスの一般的な知識を保つ損失により、被写体だけを覚え込む問題を抑える。
- 初版論文の主な比較は作例と除去実験で、珍しい場面、色の混同、元画像への過適合といった失敗も示す。
何を確かめた研究か
文章から画像を作るモデルは「犬」や「時計」の一般的な姿を知っていても、手元の特定の犬や時計を別の場面で再現するのは難しい。DreamBoothの初版論文は、対象の写真を通常3〜5枚与え、固有の被写体を新しい文脈で生成する方法を提案した。
手法は珍しい識別子とクラス名を組み合わせる。例えば「[V] dog」のような語で、一般的な犬の知識を保ちながら、[V]を写真の犬に結び付ける。使った基盤モデルはImagenで、低解像度の生成モデルと高解像度化のモデルを調整した。論文は特定の製品に依存しない考え方も述べるが、実験結果はこの基盤モデルの条件で読む必要がある。
どう検証したか
研究チームは被写体の写真とクラス名から調整したモデルで、背景、姿勢、画風、外観の変更を試した。図5〜10に、入力画像にはない場面へ被写体を置いた作例がある。図11〜14ではクラス名、一般的なクラスの知識を保つ損失、高解像度化の調整を変え、各要素の役割を調べた。
クラスの知識を保つ損失では、元のモデルが作った一般的な「犬」などの画像も学習に使う。被写体だけに合わせた調整で「犬」という語そのものが固有の犬を指すようになる現象や、数枚の背景を丸暗記する問題を抑える狙いだ。表や単一の数値だけで全ての被写体を代表させる比較ではなく、作例と構成要素の除去を中心に評価する。
何が分かったか
図12では、一般的なクラスを保つ損失なしの調整は入力写真に近い背景や姿勢へ寄りやすい。一方、提案した損失を加えた例は犬の特徴を残しながら、別の姿勢を生成する。図13では「a dog」とだけ指示したとき、通常の調整が固有の犬を作る傾向と、提案手法が多様な犬を生成できる例を比べている。
高解像度化のモデルを調整しない場合、被写体の細部に存在しない模様を作ることがある。図14では高解像度化の調整とノイズ量の変更が、細部の保持に影響することを示す。これは被写体の同一性と生成した画像の見た目が別の評価軸であることを教える。
限界は何か
図17には三つの典型的な失敗がある。珍しい場面を正しく作れない、背景の色が被写体に移る、元画像に近い場面の指示で入力写真へ過適合する、という例だ。珍しい物体や複雑な物体では、基盤モデルの既存知識が弱く、変化を作りにくい場合もある。
初版論文での主な説明は特定の物体や動物の作例に基づく。比較節も図15の作例比較であり、初版には多数の被写体を対象にした定量指標や人手評価の集計は載らない。すべての人や商品に同じ忠実度が得られるという実証ではない。個人や商品の画像を使う運用では、使用権や本人の同意も別途確認する必要がある。
仕事との接点
商品画像の試作なら、元の特徴が保たれるか、背景や照明を変えたとき指示に合うかを別々に評価する。生成された細部の誤りも確認する。これは論文の失敗例から導くTRAIL編集部の提案であり、実際の商品広告での品質や権利処理を論文が検証したものではない。