- Flamingoは画像・動画と文章を交互に与え、少数の例から視覚課題へ適応する方法を示した。
- 事前学習した視覚モデルと言語モデルをつなぎ、複数の画像・動画ベンチマークで比較した。
- 画像に根拠のない推測や、専用の分類モデルに届かない場面を論文自身が示す。
何を確かめた研究か
画像の説明、画像への質問、動画の内容理解は、通常は課題別の学習を要する。Flamingoの原論文は、少数の入力例をその場で示すだけで、異なる視覚言語課題に対応できるかを調べた。入力は文章だけに限らず、複数の画像や動画を文章の途中へ挟める。出力は文章として生成する。
著者らは既存の視覚エンコーダと言語モデルの学習済み部分を活用し、両者を結ぶ層を設計した。動画ではフレームを取り出して処理する。狙いは、一つの画像専用の答え方を覚えることではなく、入力に含めた例から今の課題の形式を読み取ることだ。
どう検証したか
画像分類、画像説明、視覚質問応答、動画質問応答など、複数のデータセットでゼロ例から数十例までを比較した。各評価では例を入力に加え、モデルの重みをその都度更新せずに回答させる。「少数例学習」とは、利用時の入力例で振る舞いを変える設定を指し、教師付きで全課題へ微調整した結果と同じではない。
論文はモデルの部品や学習の分け方を変える実験も示す。事前学習された視覚と言語の能力を保つための凍結、視覚情報を言語側へ渡す層の設計が性能に関わる。比較する値にはデータセットと例数が付いているので、単一の「総合精度」にまとめられない。
何が分かったか
Flamingoは多くの課題で少数例を使った強い成績を示した。画像と言葉が入り交じる会話風の入力や、動画フレームを参照する例も論文に載る。多様な視覚課題を同じ生成モデルで扱える可能性を示した点が重要である。
ただし、良い事例を選んで示す図と、すべての入力での成績は区別する。論文の分類課題では、対照学習に基づく専用の視覚言語モデルより低い結果もある。生成の柔軟さと特定のラベルを選ぶ性能は同じ軸ではない。
限界は何か
著者らは、画像だけでは決められない質問にも答えを推測したり、画像と違う内容をもっともらしく述べたりする失敗を示す。入力例の選択や順序にも結果が左右される。長い会話や多くの例を入れると、言語モデルが扱える文脈長も制約になる。実務で正答率を測るなら、プロンプトの条件を固定する必要がある。
また、原論文のモデルは研究用で、一般の利用者が同じ重みをすぐ使える前提ではない。結果を別製品の性能へ置き換えることはできない。
視覚情報を扱うモデルでも、言語モデルが持つもっともらしい表現の傾向は残る。論文中の例には、画像が答えを決められないのに推測したものがある。質問文だけから予想できる回答と、画像を見なければ答えられない回答を分けると、この失敗を捉えやすい。複数画像の比較では指示語がどの画像を指すか曖昧になる場合もあり、単一画像の成績だけで評価できない。入力例の順序と文脈長も回答に影響する。画像の枚数が増えるほど、入力のどの部分を参照して答えたかの確認も難しくなる。
仕事との接点
画像を根拠に回答を作る用途では、答えだけでなく参照した画像のどこが根拠かを人が点検する。回答不能な画像や紛らわしい例を評価セットに含め、例の並びを変えた時の差も確認する。これはTRAIL編集部の提案であり、原論文は特定企業の問い合わせ運用を検証していない。