- BLIP-2は既存の画像エンコーダと言語モデルを固定し、その間に置く小さなQ-Formerを学習して画像と言葉を結び付ける。
- 論文第3版のVQAv2のゼロショット評価では、比較したFlamingo80Bより8.7ポイント高い65.0%の正答率を示した。
- 評価によって順位は変わり、著者らは誤った知識や不適切な出力の危険も記している。
何を確かめた研究か
画像と言葉を一緒に扱うモデルを作るには、大量の画像と文章を使って大きなモデル全体を学習する方法がある。しかし、すでに訓練済みの画像モデルと言語モデルの知識を使えれば、学習する部分を減らせるかもしれない。問題は、文章だけで訓練した言語モデルには画像が直接分からないことだ。
BLIP-2の論文第3版は、この間をつなぐ「Q-Former」を提案した。画像エンコーダから、文章を作るために必要な特徴を問い合わせて取り出す軽量なTransformerである。画像側と言語側の大きなモデルは固定し、橋渡しの部分を2段階で学習する。既存の基盤モデルを活用し、画像質問応答や説明文生成に使えるかを調べた。
どう検証したか
第1段階では、画像と言葉の対応をQ-Formerに学ばせる。第2段階では、その出力を固定した言語モデルへ渡し、画像を条件に文章を生成できるようにする。画像エンコーダや言語モデルの組み合わせを変え、VQAv2、OK-VQA、GQAの質問応答、画像説明、画像と文章の検索を評価した。
論文の表2では、VQAv2のゼロショット、つまり対象の質問応答データで追加学習しない設定で、Flamingo80Bなどと比べる。最大のBLIP-2構成は画像側にViT-g、言語側にFlanT5XXLを使う。この構成のVQAv2 test-devの正答率は65.0%、比較したFlamingo80Bは56.3%だった。差の8.7は割合ではなく正答率のポイント差である。
何が分かったか
上記の構成について、論文の表2に記された学習対象パラメータは約1億800万で、比較先のFlamingo80Bは約102億だ。一方、論文の総覧である表1はBLIP-2を約1億8800万と記し、本文の「54分の1」はその値との比較に対応する。構成と表で示された数値を混ぜて一つの倍率にしない。画像モデルと言語モデルを一から共同学習しなくても、選んだ評価で強い結果を出せた点に研究の意味がある。
ただし、どの質問でも優位ではない。外部の知識をより必要とするOK-VQAでは、論文のBLIP-2はFlamingo80Bに及ばなかった。著者らは、言語モデルが持つ知識の差が関係する可能性を挙げている。Q-Formerだけで全ての知識不足を補うという結果ではない。
限界は何か
論文にある自然な会話や画像に沿った文章の例は、能力を示す例示であって、全ての入力で同じ品質が出る保証ではない。著者らは、言語モデルが誤った知識を使うこと、推論の筋道を取り違えること、新しい画像内容について情報が古いことを失敗の理由に挙げる。
固定した大規模モデルからは、攻撃的な言葉、社会的偏り、私的情報の漏えいといったリスクも引き継ぎ得る。VQAv2の正答率だけでは、これらの危険を評価できない。実際の業務画像に書かれた細かな文字や、専門分野の画像への適合も別途確認が要る。
仕事との接点
画像を扱うAIを選ぶ際には、モデル全体を再学習する費用と、既存モデルに小さな接続部分を追加する方法を比較できる。だが、学習するパラメータが少ないことと、運用が安いことは同じではない。実際のGPU使用量、推論速度、自社の画像・質問での正答、危険な応答を合わせて測る。これはBLIP-2の方法と限界を受けたTRAIL編集部の提案であり、論文は自社業務での導入効果を測っていない。