- DALL·E初報は文章と画像をトークン化し、単一の自己回帰系列としてモデル化した。
- 指定の領域へ追加学習しないゼロショットの文章から画像生成を評価した。
- 公開された作例や比較は、あらゆる指示で正確な画像を作れることの証明ではない。
何を確かめた研究か
文章で説明した場面を画像にするには、言葉と視覚要素の対応を学ぶ必要がある。DALL·E初報は、文章と画像を別々の特別な経路で処理する代わりに、両方をトークンの列として一つのTransformerに学ばせる方法を示した。
文章のトークンに続けて画像のトークンを並べ、次のトークンを順番に予測する。生成時には文章を条件として画像トークンを作り、画像へ戻す。方式の中心は、言葉と画像を同じ系列予測の枠組みに置いた点にある。
どう評価したか
論文は、文章から画像への生成を、対象のデータセットに専用の追加学習をしないゼロショット条件で評価する。要旨は、十分なデータ量とモデル規模があると、領域専用の従来法と競争力のある結果になると述べる。これは「どんな指示にも正確に応える」という意味ではない。特定のベンチマークと評価方法における比較である。
画像生成では一つの文章に複数の妥当な絵があり得る。自動指標だけで言葉への忠実さを測るのは難しく、見栄えの良い作例だけで全体の失敗率も分からない。論文中の作例は能力の幅を示す一方、性能の頻度を推定するには系統的な評価を読む必要がある。
何が新しかったか
従来は画像生成のための構造や補助損失、物体の部位や領域のラベルなどを設計する方法が多かった。DALL·E初報は、大量の文章と画像の組を用い、単純な系列モデルを大規模に学習する選択肢を示した。生成モデルの能力がデータ規模と計算資源に依存することも読み取れる。
ただし、学習データの偏りや著作物の扱い、生成物の事実性といった論点を、この実験だけで解決したわけではない。論文のゼロショットという語も「訓練をしていない」の意味ではなく、評価する個別課題へ追加学習していないという意味で読む。
仕事との接点
デザインの案出しに使うなら、代表的な指示を先に決め、採用できる画像の割合や修正回数を調べる。人や文字など失敗しやすい対象も分けて点検したい。これはTRAIL編集部の実務提案で、論文が商用制作の時間短縮を測定した結果ではない。