マルチモーダルとは？意味・仕組みとモデルごとの入力の種類（2026年10月時点）

ひとことで言うと

マルチモーダルは、AI がテキストだけでなく、画像、音声、動画など複数の種類のデータを扱えることを指す。OpenAI のドキュメントは、モデルが扱う入力と出力の種類を「modalities」と呼んでいる。

身近な例でいえば、会議のホワイトボードの写真を見せて「書かれている項目を表にして」と頼めるのは、AI が画像を読めるからだ。録音を渡して要約させるなら音声、録画を渡すなら動画を扱える必要がある。

仕組み

各社の公式ドキュメントから、マルチモーダルのモデルがデータを扱う流れをまとめると次のようになる。

1. データを渡す：画像、音声、動画のファイルを、質問の文章と一緒に送る。Anthropic、OpenAI、Google はいずれも、ファイルを直接送る方法、URL で渡す方法、先にアップロードして ID で指す方法を用意している。
2. トークンに変える：モデルは文章と同じように、画像や音声もトークン（AI がデータを数える単位）に変えて読む。Anthropic のドキュメントは、画像を28×28ピクセルの区画に分けて数えると説明している。Google は音声を1秒あたり32トークンと数える。
3. まとめて理解する：文章と画像を一緒に読み、質問に答える。Anthropic は1回の依頼に複数の画像を入れると、Claude がまとめて分析し、画像どうしの比較や資料のページの並びの読み取りに使えると説明している。
4. 答えを返す：画像や音声を読んだ答えは、テキストで返る。画像を作るのは OpenAI の GPT Image のような生成用のモデルで、Google も動画の生成は別のガイドで扱っている。

扱える種類はモデルごとに違う。Google の動画のドキュメントは、Gemini が動画の説明、情報の抽出、動画の中の特定の時刻の参照などをできるとしている。音声では文字起こし、翻訳、話者の聞き分けを挙げている。

表で見る最新の状況

上の表は、TRAIL がモデルのページに入力の種類を載せている19のモデルだ。値は各社の開発者向けの公式ドキュメントにあるモデルの入力の種類で、最も新しい確認日は2026年10月24日。

テキスト、画像、音声、動画の4つすべてを入力できるのは、Google の Gemini と Meta の Muse のモデルだ。表では Gemini 4 Argon、Gemini 3.8 Flash、Gemini 3.1 Pro、Muse Wonder、Muse Spark 1.3 が該当する。

テキストと画像の2つを入力できるのは、Anthropic の Claude（Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5）、OpenAI の GPT-6.1 Sol、GPT-6 Astra、GPT-6 Sol、GPT-6 Luna、DeepSeek-V4.1-Flash、Grok 4.7、4.6、4.5、Sakana Namazu だ。DeepSeek-V4-Pro はテキストだけを入力できる。

TRAIL の表では、音声や動画をそのまま入力できるモデルは Gemini と Muse に限られる。会議の録音や録画をそのまま渡したいときは、使うモデルがこの列に入っているかを先に確かめる必要がある。

この表は「入力」の種類だ。画像や音声を作れるか（出力）は含まない。

マルチモーダルとテキストだけのモデルの違い

OpenAI のドキュメントは画像もトークンとして数え、その分を課金すると書いている。

仕事でどう関係するか

紙の資料や画面の写真を読ませるとき

OpenAI は画像を読めるモデルの用途に、画像の説明、写っている文字の読み取り、物の形や色についての質問への回答を挙げている。手書きのメモや紙の帳票の写真から内容を起こす作業なら、テキストと画像を入力できるモデルを選ぶ。

この画像は手書きの注文票です。
品名、数量、単価を読み取り、表にしてください。
読み取れない文字は「？」と書いてください。

会議の録音や録画を扱うとき

Google のドキュメントでは、Gemini は音声の要約、文字起こし、話者の聞き分けができ、1回の依頼で最大9.5時間の音声を扱える。録音をそのまま要約させたいなら、表で音声の入力に対応するモデルが候補になる。

複数の資料を見比べるとき

Anthropic は複数の画像を1回の依頼に入れて比べたり違いを尋ねたりできると説明している。新旧の図面や、2つの見積書の画像を並べて違いを洗い出す、といった使い方ができる。

費用を見積もるとき

画像や音声もトークンとして数える。Anthropic の例では、1000×1000ピクセルの画像は1,296トークンになる。Google の例では、音声1分は1,920トークンになる。大量の写真や長い録音を処理するなら、文章よりトークンが増える点を見込む。

注意点と限界

• 画像の読み取りは間違えることがある。Anthropic は、画質が低い、回転している、200ピクセル未満の小さい画像では、Claude が誤ることがあると書いている。物の数え方もおおよそになる場合がある。
• 写真の人物が誰かは答えない。Anthropic は画像の人物の名前を挙げる用途には使えないとしている。
• AI が作った画像かどうかは見分けられない。Anthropic は偽の画像の判定に頼らないよう求めている。
• 複雑な医療画像の読影には向かない。Anthropic は CT や MRI のような複雑な画像の読影向けには作られていないとしている。
• 大事な場面では、人が結果を確かめる。Anthropic は、精度が求められる用途では人が確認するよう求めている。

よくある質問

関連する用語

• 用語：LLM、生成AI、コンテキストウィンドウ、推論モデル
• モデル：Gemini 4 Argon、Claude Opus 5.5、GPT-6.1 Sol、Muse Wonder
• ツール：Gemini、ChatGPT、Claude
• 料金：モデルごとの API 料金