画像認識とは？意味・仕組みと対話AIの画像入力の年表（2026年10月時点）
画像認識（がぞうにんしき）
Image Recognition ／ Computer Vision ／ コンピュータビジョン ／ 画像解析 ／ 画像理解
画像認識とは、写真や画面、書類の画像をAIが読み取り、写っている物の種類や位置、書かれた文字などを判断する技術のこと。分類、検出、セグメンテーション、OCR などに分かれる。
要するに
- 分類・検出・セグメンテーション・OCR に分かれ、今は対話AIでもこなせる
- ChatGPT、Gemini、Claude は2023〜2024年に画像の入力に対応した
- 日本語の文字や物の数は誤ることがあり、元の画像と突き合わせて確かめる
最終確認
画像の入力と画像を見る機能の主な出来事
残りの1件を見る
原論文と関連研究
- ResNetの原論文を読む 深くしても学べる画像認識へDeep Residual Learning for Image Recognition
- Faster R-CNN 論文の解説：候補領域もニューラルネットで作るFaster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
- Mask R-CNN 論文の解説：物体を一つずつ切り出すMask R-CNN
- Vision Transformerの原論文を読む 画像をパッチで扱うAn Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
- CLIPは画像と文章をどう結びつけたか 2021年の原論文を読むLearning Transferable Visual Models From Natural Language Supervision
- SAM 2 論文の解説：動画の途中でも対象を指定できる分割と限界SAM 2: Segment Anything in Images and Videos
目次8
ひとことで言うと
画像認識は、写真や画面、書類の画像を AI が読み取り、何が写っているか、どこにあるか、何と書いてあるかを判断する技術だ。英語では Image Recognition と呼ばれ、画像や映像を扱う研究の分野全体は Computer Vision（コンピュータビジョン）と呼ばれる。
身近な例でいえば、スマートフォンのカメラに目の前の物を映して AI に質問する使い方や、書類の写真を AI に読ませる使い方がある。ChatGPT や Gemini、Claude のような対話AIは、どれも画像を渡して質問できる。
仕組み
画像認識でできることは、大きく4つに分かれる。Google の Gemini API のドキュメントは、画像キャプション、分類、視覚的な質問応答などを Gemini で使える画像処理のタスクに挙げ、オブジェクト検出とセグメンテーションにもそれぞれ節を設けている。
- 分類：画像全体が何の画像かを答える。ResNet の原論文は ImageNet という画像のデータセットの分類で結果を示した。
- 検出：画像の中の物を見つけ、その位置を四角い枠（境界ボックス）で返す。Gemini は境界ボックスの座標を、画像の大きさを基準に0〜1000に直して返す。
- セグメンテーション：物の形を、輪郭に沿って切り分ける。Mask R-CNN の原論文は、物を検出しながら、1つずつの物の形を表すマスクを作る方法を示した。
- 文字の読み取り（OCR）：画像の中の文字を読み、文章として取り出す。OpenAI のドキュメントは細かい文字の読み取りを OCR と呼び、元の解像度で画像を渡す設定を勧めている。
これらを担うモデルの作りは、時代とともに変わってきた。
- CNN（畳み込みニューラルネットワーク）の時代：ViT の原論文によると、画像の分野では CNN と呼ばれるニューラルネットワークに頼る作りが中心だった。2015年12月10日に arXiv で公開された ResNet の原論文は、ImageNet で最大152層の深いネットワークを学習させる方法を示し、複数のモデルを組み合わせて ImageNet のテストで誤り率3.57％を出した。これは ILSVRC 2015 の分類部門で1位になった。ResNet は層を深く重ねて学ぶディープラーニングのモデルだ。
- トランスフォーマーの導入：2020年10月22日に公開された ViT（Vision Transformer）の原論文は、文章の処理で使われてきたトランスフォーマーを、画像の小さな区画（パッチ）の並びにそのまま当てはめた。大量のデータで事前に学習させると、最新の CNN と比べて画像分類でよい結果を出し、学習に使う計算量も大幅に少なかったとしている。
- 画像と言葉を結びつける：2021年2月26日に公開された CLIP の原論文は、インターネットから集めた4億組の画像と説明文で、どの説明文がどの画像に合うかを当てる学習をした。論文は決まった種類の物だけを当てるように学ぶ従来の方法を限界に挙げ、学習のあとは言葉で物を指して使えるとした。
- 対話AIが画像を読む：今のマルチモーダルな対話AIは、画像を文章と一緒に入力として受け取り、文章で答える。Anthropic のドキュメントによると、Claude は画像を28×28画素の区画に分けて数え、これを visual token（画像のトークン）と呼ぶ。OpenAI のドキュメントも、一部のモデルは画像を32×32画素の区画で覆い、その数から料金のもとになるトークンを数えるとしている。
表で見る最新の状況
上の表は TRAIL の年表から画像の入力と画像を見る機能に関わる出来事を選んだものだ。出来事の確認日は2026年10月10日から2026年10月20日だ。
最初の流れは2023年にある。OpenAI は2023年3月14日に、テキストと画像を入力に取る GPT-4 を発表し、2023年9月25日には ChatGPT で画像を見せて質問できるようにした。Google は2023年12月13日に、開発者向けに gemini-pro-vision を公開した。Anthropic は2024年3月4日の Claude 3 ファミリーで、全モデルを画像入力に対応させた。
2024年からは、無料で使える範囲とカメラでの使い方が広がった。2024年5月13日の GPT-4o は、無料ユーザーにも機能を広げた。Gemini Live のカメラと画面共有は、2025年5月20日に Android と iOS で無料になった。日本では2026年3月27日に、声とカメラで質問できる検索 Live が使えるようになった。
Microsoft は2024年10月1日に、閲覧中のページを一緒に見る Copilot Vision を一部の Copilot Pro 利用者に出した。2025年4月4日には、スマートフォンと Windows で Vision を使えるようにした。
2026年8月以降も、画像を読む機能の追加が続いた。DeepSeek は2026年8月21日に、画像とテキストを同時に入力できる実験的なモデル V4-Flash-Vision-Exp を公開した。画像は1枚あたり最大384トークンとして課金される。ChatGPT は2026年10月1日に、iOS でカメラで撮った複数ページを1つの PDF にまとめて添付できるスキャン機能を順次提供すると発表した。Granola は2026年10月6日に、会議で共有されたスライドやグラフの画面を自動でノートに加える Snapshots を出した。
上の表には、画像認識の原論文と関連研究の記事も並べた。
画像認識と画像生成AIの違い
| 項目 | 画像認識 | 画像生成AI |
|---|---|---|
| 入力と出力 | 画像を入れて、答えの文章や位置が出てくる | 文章や画像を入れて、新しい画像が出てくる |
| 主な使い方 | 分類、検出、文字の読み取り、画像の説明 | 新しい画像の作成、今ある画像の編集 |
| 例 | Gemini のオブジェクト検出、Claude の画像入力 | OpenAI の GPT Image |
入力と出力の向きが反対だ。OpenAI のドキュメントも画像を分析する使い方と、GPT Image で画像を作ったり直したりする使い方を分けて説明している。画像を作る側は画像生成AIで解説している。
仕事でどう関係するか
領収書や書類を読み取らせるとき
文字がはっきり読める画像を渡す。Anthropic のドキュメントは、大切な文字が入った画像は読める大きさにし、強い JPEG 圧縮で文字が読みにくくならないか確かめるよう書いている。大きすぎる画像は縮めてから処理されるため、文字が読みにくくなることもある。OpenAI のドキュメントは、細かい文字を読む OCR には、対応するモデルで "detail": "original"（元の解像度で渡す設定）を使うよう勧めている。
書類が何ページもあるなら、複数の画像をまとめて渡せる。Anthropic のドキュメントは、文書のページのような画像の並びを、1回の依頼でまとめて分析できるとしている。
添付は、今月の出張の領収書3枚の写真です。
1枚ずつ、日付、店名、合計金額、税込か税抜きかを読み取り、表にしてください。
読み取れない文字は推測で埋めず、「読み取れず」と書いてください。現場の写真を確かめるとき
写真で何を判断できるかと、できないかを分けて考える。Gemini API は画像の中の物を検出し、境界ボックスや輪郭のマスクを返せる。一方で、OpenAI と Anthropic のドキュメントはどちらも、画像の中の物の数は近い値になることがあるとしている。在庫の数や部品の数のように正確な数が要る確認は、人が数え直す前提で使う。
画像を言葉で説明させるとき
資料の画像や画面を、文章で説明させる使い方がある。OpenAI のドキュメントは、画像を説明し、写っている文字を読み、物の形や色について質問に答えられるとしている。Google は2026年10月1日に、カメラに映るものを声で説明する Guided Vision を Gemini Live で始めた。目の見えない人や見えにくい人に向けた機能だ。
自社のサービスに画像の読み取りを組み込むとき
1回に渡せる画像の数と、画像のトークンの数え方を確かめる。上限は、OpenAI が1回の依頼で画像1,500枚まで、Gemini が3,600個まで、Claude の API が100枚か600枚までだ。Claude の数は、コンテキストが20万トークンのモデルかどうかで変わる。Gemini は、縦と横がどちらも384画素以下の画像を258トークンと数え、それより大きい画像は768×768画素の区画に分けて1つあたり258トークンと数える。
注意点と限界
- 日本語の文字は読み誤ることがある。OpenAI のドキュメントは、日本語や韓国語のようにラテン文字でない文字を含む画像では、性能が十分に出ないことがあるとしている。
- 画質が悪い画像、回転した画像、とても小さい画像では誤りが増える。Anthropic のドキュメントは、200画素未満の画像などで Claude が誤った説明を作ることがあるとしている。
- 医療の画像の診断には使えない。OpenAI と Anthropic のドキュメントはどちらも、CT のような専門の医療画像の読影に向かないとしている。
- 人物の名前は答えない。Anthropic のドキュメントは、Claude は画像の人物を名指しせず、断るとしている。
- AI が作った画像かどうかの判定には頼れない。Anthropic のドキュメントは、Claude には画像が AI で作られたかどうかを見分けられないとしている。
よくある質問
画像認識と OCR は同じものか
OCR は画像認識の一部だ。画像認識は写っている物の種類や位置の判断まで含み、OCR はそのうち画像の中の文字を読み取る作業を指す。CLIP の原論文も OCR をコンピュータビジョンの課題の1つに挙げている。
無料で使えるか
使える場面がある。TRAIL の年表では、GPT-4o の機能が2024年5月13日に無料ユーザーにも広がり、Gemini Live のカメラ共有は2025年5月20日に無料になった。使える回数や上限は、各サービスの料金ページで確かめる。
日本語の書類も読めるか
読めるが、確認が要る。OpenAI のドキュメントは、日本語のようなラテン文字でない文字を含む画像で性能が十分に出ないことがあるとしている。数字や名前は元の書類と突き合わせる。
CNN とビジョントランスフォーマーはどう違うか
画像を処理するモデルの作りが違う。ViT の原論文によると、画像の分野では CNN に頼る作りが中心だった。この原論文は、画像を小さな区画の並びにしてトランスフォーマーに入れれば、CNN に頼らなくても画像分類でよい結果が出ることを示した。
画像を送ると料金はかかるか
API では、画像もトークンとして数えられて課金される。OpenAI のドキュメントは、画像はトークンとして数え、それに応じて課金すると書いている。Claude と Gemini のドキュメントも、画像の大きさからトークン数を出す方法を示している。
関連する用語
出典
- Images and visionOpenAI
- 画像の理解Google
- VisionAnthropic
- Deep Residual Learning for Image Recognition（arXiv:1512.03385）arXiv
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（arXiv:2010.11929）arXiv
- Mask R-CNN（arXiv:1703.06870）arXiv
- Learning Transferable Visual Models From Natural Language Supervision（arXiv:2103.00020）arXiv
- 公開
- 執筆
- TRAIL編集部（編集方針）
