- Imagenは、文章を理解する部分に固定した大きな言語モデルを使い、画像を作る部分に拡散モデルを使った。
- 論文はCOCOでFID 7.27を報告し、難しい指示文を集めたDrawBenchでは人の比較評価も行った。
- 著者らは学習データと人物表現の偏りを理由に、当時はコードや公開デモを出さない判断を記している。
何を確かめた研究か
文章から画像を作るには、指示文を正しく受け取り、画像の細部として表現する必要がある。Imagenの論文は、画像生成器そのものを大きくする以外の道を調べた。文章だけで事前学習した言語モデルをテキストエンコーダとして使い、その表現を条件として拡散モデルで画像を作る。
拡散モデルは、雑音から少しずつ画像を整える生成方法だ。Imagenでは言語モデルの重みを固定したまま、画像生成側を学習する。研究チームが検証した中心的な問いは、文章の表現を作るモデルの大きさが、生成画像の質や指示との一致にどれほど効くかである。
どう検証したか
論文は、テキストエンコーダと言語モデルの規模、画像生成器の規模を変えて比べた。標準的なCOCOの画像と説明文を使う評価では、FIDという画像分布の近さを測る指標を用いた。ImagenをCOCOの画像で訓練しないゼロショット設定で評価した点が条件になる。
FIDだけでは、数字を数える指示や複雑な関係を画像が守ったかを十分に測れない。そこで著者らは、11種類・計200件の指示文を含むDrawBenchを作り、人が二つの生成結果を並べて品質と文章との一致を比べた。比較対象にはDALL-E 2やLatent Diffusion Modelsなどを含む。
何が分かったか
論文のCOCOゼロショット評価ではFID 7.27を報告した。FIDは小さいほど参照画像の分布に近いとされるが、それだけで個々の画像が正しいことは示さない。DrawBenchの人手比較では、指示との一致と見た目の両面で、比較した他の方法よりImagenが好まれたと著者らは報告する。
規模を変えた実験では、画像生成器を大きくするより、文章を表す言語モデルを大きくする方が、画像品質と指示との一致に強く効いたと論文は述べる。これは、画像生成で「文章をどう理解するか」が重要な設計点であることを示した。ただし、同じ効果の大きさが後の全てのモデルやデータで再現するとは限らない。
限界は何か
著者らは、FIDと画像・文章の類似度のどちらにも測れないことがあると説明する。人の比較評価を追加しても、評価者や指示文の範囲を超えた品質の保証にはならない。とくに人物を描く画像では、人物を含まない画像より評価が低下した。
学習に使った画像と英語の代替テキストには、有害な表現や社会的な偏りが入り得る。論文の予備的な確認では、肌の色や職業の描写に偏りが見られた。著者らはこの問題を十分に解決していないとして、当時はコードや公開デモを出さなかった。高いFIDや人の好みの結果を、安全な公開利用の証拠とは扱えない。
仕事との接点
画像生成の導入では、自社で使う指示文を集め、見栄え、文章との一致、人物や属性の表現、学習データの由来を別々に確認する。標準ベンチマークの結果を最初の手がかりにしつつ、公開利用では誤解を招く画像や偏りへの対処が必要だ。これは論文の結果と限界を踏まえたTRAIL編集部の提案であり、Imagenが業務で安全に使えると論文が示したわけではない。