- Molmoは画像を入力する視覚言語モデル群。PixMoには人手の詳細な画像説明と、対象を点で示す注釈がある。
- PixMoは71.2万枚の画像説明と230万件超の点による位置注釈を含む。視覚言語モデルが生成した合成教師データに頼らず作る設計である。
- 第2版の表1ではMolmo-72Bの11課題平均が81.2、人手比較のElo順位が2位。ただし課題別に弱点が残る。
何を確かめた研究か
画像を見て答えるモデルでは、正答だけでなく、画像のどこを根拠にしたかが重要になる。MolmoとPixMoの論文は、説明、質問応答、位置を点で示す応答を一つのモデル群で扱う。学習に使うPixMoのデータ作成方法も公開し、視覚言語モデルの教師データを別の非公開視覚言語モデルに作らせない方針を示した。
PixMoの詳細説明データは71.2万枚の画像を対象とし、注釈者の音声説明を文字にする方法を使う。対象物などを点で指す位置注釈は230万件超で、数え上げにも利用する。
どう検証したか
論文はMolmoの複数サイズを、画像理解、文書、図表、位置、数え上げなどの課題で比較する。第2版の表1には10の一般的なデータセットと新しいPixMo-Countが並び、11課題の平均値を示す。人手評価は画像と応答の比較を別に集め、Elo順位を計算した。
表1は公開形態で比較対象を分けている。ただし各モデルで基盤言語モデルや訓練手順、画像解像度が異なり、データ公開だけの効果を単独で示す実験ではない。
何が分かったか
Molmo-72Bは表1の11課題平均で81.2、人手比較のElo順位では2位だった。小さいMolmo-7B-Dも同平均77.3で、公開されたデータと訓練手順を用いるモデル群として強い結果を示した。ただし個別のMMMUやMathVistaでは競合に届かない場面があり、平均順位で全課題の優位を表せない。
点で対象を示す出力は、単語だけの回答より画像中の対象を確認しやすい。一方、点が正しくても、質問全体への答えが正しいとは限らない。
限界は何か
PixMoの作成では他の視覚言語モデルに説明を生成させていないが、Molmo-72Bは既存のQwen2 72Bを基盤にしている。その事前学習データまで全て公開されたと読み替えてはいけない。公開形態と品質の比較にはモデルの来歴を合わせて見る必要がある。
人手比較の順位は評価した画像、質問、候補モデルに依存する。画像の細部、文字、稀な対象での誤りは残り得るため、平均点だけで実運用の安全性は判断できない。
仕事との接点
図面、商品写真、画面の読み取りで利用するなら、回答に加えて指示した点が対象を捉えるかを人手で確認する。数え上げや文書中の小さな文字は別々に測る。これは論文の評価設計から導くTRAIL編集部の提案であり、論文が特定企業の画像を評価したわけではない。