【びじょんらんげーじもでる】
Vision-Languageモデル とは？
最終更新:
💡 画像と言葉を結びつけるAI
画像とテキストを関連づけて処理するAIモデル。画像に合う文章を探すものや、画像への質問に文章で答えるものがあり、すべてが対話や文章生成を行うわけではない。
📌 このページのポイント
- 視覚情報とテキストを関連づけて扱うモデルの総称
- 画像と文章の対応を測る方式と、文章で答える方式などがある
- CLIPとLLaVAでは仕組みや出力の役割が異なる
- 細かい文字や位置関係を誤ることもあるため、出力を確認する
ひよこ Vision-Languageモデルって、画像について話せるAI？
ペンギン先生 画像とテキストを一緒に扱うモデルだよ。画像に合う文章を選ぶものも、質問に文章で答えるものもある。例えば料理の写真について「何が写っている？」と質問して答えるのは、対話できるモデルの使い方なんだ。
ひよこ 画像認識と何が違うの？
ペンギン先生 ひよこ CLIPとLLaVAは同じ？
ペンギン先生 CLIPは画像とテキストの表現を学び、対応の近さを測る方式。候補の説明文と画像を比べて分類する使い方があるよ。LLaVAは画像の特徴を言語モデルへつなぎ、画像に関する指示に文章で応じる方式なんだ。
ひよこ 写真を見せたら、全部正しくわかる？
ペンギン先生 そうとは限らないよ。細かい文字、回転した文字、正確な位置関係などを誤ることがある。例えば画像の文字を読み取らせたら、元の画像と照合しよう。自然な説明でも、写っていない内容を答える場合があるんだ。
ひよこ 使うモデルは何を見て選ぶの？
ペンギン先生 画像の検索か、文章による説明や質問応答か、目的を先に決めよう。対応する入力、必要な精度、利用条件を確認し、自分の画像で確かめる。医療画像の診断などに、そのまま使えると判断しないことも大切だよ。
まとめ：ざっくりこれだけ覚えればOK！
「Vision-Languageモデル」って出てきたら「画像と言葉を結びつけて扱うAI」と思えばだいたいOK！
📖 おまけ：英語の意味
「Vision-Language Model」 ＝ 視覚と言語のモデル
💬 Vision（視覚）とLanguage（言語）を組み合わせた名称。略してVLMとも呼ぶよ。