- DiTは潜在空間の画像パッチをTransformerで扱い、拡散モデルのU-Netを置き換えた。
- 論文は一回の処理の計算量を増やすと、ImageNetで生成画像のFIDが下がる傾向を示した。
- 報告したFID 2.27はクラス条件付き256×256生成で、誘導を使った設定の結果だ。
何を確かめた研究か
画像をノイズから少しずつ作る拡散モデルは、従来U-Netと呼ばれる畳み込み構造を中心に使ってきた。別の構造でも同じように画像を作れるか、規模を大きくしたときどう変わるか。DiTの初版論文は、画像をいったん圧縮した潜在空間で、U-NetをTransformerに替えて調べた。
DiTは潜在表現を小さなパッチに区切り、Transformerの入力の列にする。画像の分類ラベルとノイズの段階を条件として渡し、次の除去に必要なノイズを予測する。画像を直接生成するTransformerとは異なり、拡散の手順と潜在空間での学習は残している。
どう検証したか
研究チームはTransformerの深さと幅、パッチの大きさを変え、モデル一回の処理に必要な演算数をGflopsで比較した。生成画像の分布と実画像の分布の差を示すFIDを主な指標とし、ImageNetのクラス条件付き画像生成で調べた。FIDは低いほど分布が近いが、個々の画像が必ず良い、指示に正確に従うという指標ではない。
初期の規模比較では12種類のDiTを同じ学習段階で観察する。最良モデルはさらに長く学習し、先行する拡散モデルと256×256、512×512の画像生成で比べた。計算量だけでなく、学習ステップ数や生成時のクラス条件の強め方が異なる実験である。
何が分かったか
図6〜8では、深さ・幅やパッチ数を増やして一回の計算量が増えるほど、FIDが低くなる傾向がある。パラメータ数が似ていても、パッチを細かくして処理する数を増やせば改善する例がある。したがってモデルの大きさをパラメータ数だけで比較するのは十分でない。
表2の256×256生成で、DiT-XL/2の誘導なしFIDは9.62、classifier-free guidanceの係数1.5を使う条件では2.27だった。同表のLDM-4の誘導付き最良行は3.60である。2.27は拡散モデルの比較における強い結果だが、誘導なしのDiT性能として紹介すると誤る。誘導は画像の多様性など他の指標にも影響する。
限界は何か
最終結果はImageNetの分類ラベルを与えた画像生成であり、自由な文章から画像を作る仕事を評価していない。FIDはデータ集合、画像解像度、評価用の特徴抽出方法で変わる。新しいデータでの視覚的な品質、文字の正確さ、著作権上の問題などは別に調べる必要がある。
大きなモデルには学習と生成の計算費用がかかる。論文は一回の処理量と生成品質の関係を示す一方、反復回数を増やしても小さいモデルが大きいモデルに追い付けない条件も報告した。最適な構成は費用の上限によって変わる。
仕事との接点
画像生成の基盤方式を選ぶなら、FIDだけではなく、指定した題材への一致、人が見る品質、生成時間、使う機器の費用を測る。比較では誘導の有無や強さ、生成反復数を記録する。これはDiTの実験条件から導くTRAIL編集部の提案であり、業務データでの優位性を論文が保証するものではない。