【まるちもーだるうめこみ】
マルチモーダル埋め込み とは？
公開:
💡 見た目も言葉も同じ地図に載せる翻訳者
📌 このページのポイント
- 異種データを同一ベクトル空間で比較できる
- テキストで画像を検索したり、画像でテキストを検索できる
- CLIPやImageBindが代表的な実装
ひよこ ペンギン先生、画像をテキストで検索できるってどういう仕組みなの？
ペンギン先生 それがマルチモーダル埋め込みの仕組みだよ。テキストも画像も、同じ「数字の地図」に変換してしまうんだ。
ひよこ テキストと画像が同じ地図に…？全然違うものなのに変換できるの？
ペンギン先生 うん。例えば「猫の写真」と「猫」というテキストを、それぞれ数百次元のベクトルに変換すると、地図上の近い場所に配置されるように学習するんだよ。
ひよこ じゃあ「犬の写真」は「猫」のテキストから遠い場所になるんだね！
ペンギン先生 まさにその通りだよ。この仕組みを使うと、テキストで画像を検索したり、画像に似た別の画像を見つけたりできるんだ。
ひよこ CLIPっていう名前をよく聞くんだけど、それがそういう技術なの？
ひよこ 音声も同じようにできるの？
ペンギン先生 できるよ。Metaが開発したImageBindは画像・テキスト・音声・深度マップなど6種類のデータを同一空間に埋め込んでいて、音声から似た画像を探すことまでできるんだよ。
まとめ：ざっくりこれだけ覚えればOK！
「マルチモーダル埋め込み」って出てきたら「テキストも画像も同じ地図に変換する技術」と思えればだいたいOK！
📖 おまけ：英語の意味
「Multimodal Embedding」 ＝ マルチモーダル埋め込み
💬 複数（multi）のモード（modal）を同一空間に埋め込む（embed）技術から来てるよ