【うめこみひょうげん】

埋め込み表現 とは?

最終更新:
💡 言葉などの特徴を、比べられる数値の座標にする

単語・文章・画像などの特徴や関係を、数値のベクトルで表したもの。学習した表現を使い、類似度の計算や検索などを行う。何が似ていると表されるかは、モデルや学習の目的によって変わる。

📌 このページのポイント
特徴や関係を、数値の座標にする 2次元へ単純化した模式図 猫 犬 車 何を「似ている」とするかは学習次第 king − man + woman ≈ queen 研究の例であり、必ず成り立つ法則ではない
位置は実測値ではなく、特徴の似たものを比較する考え方の例です。類似性や単語間の演算結果は、モデル・学習データ・目的で変わります。
ひよこ ひよこ
文字コードと何が違うの?
ペンギン先生 ペンギン先生
文字コードは文字を識別するための番号だね。埋め込みはモデルが学んだ特徴や関係を数値で表す。文字の番号が近いことと意味が似ていることは別だけれど、埋め込みでは学習の目的に合う類似性を計算に使えるんだ。
ひよこ ひよこ
似た意味なら必ず近くなる?
ペンギン先生 ペンギン先生
その傾向を利用するけれど、保証ではないよ。モデルや学習データ、目的、類似度の測り方で結果が変わる。「朝食として似ている」と「材料が似ている」は別の関係だね。検索でも、近い結果が目的に合うか確かめる必要があるんだ。
ひよこ ひよこ
王様−男性+女性=女王になるって本当?
ペンギン先生 ペンギン先生
単語ベクトルの研究で、英語のkingからmanを引きwomanを足したベクトルにqueenが最も近くなる例が示されているよ。女王のベクトルと厳密に等しい式ではなく、全ての単語やモデルで成り立つ法則でもないんだ。
ひよこ ひよこ
何次元あればいいの?
ペンギン先生 ペンギン先生
次元数は数値の個数で、モデルや用途によって違うよ。多くすれば必ず良いわけではなく、計算や保存の負担も関わる。各次元が「動物らしさ」のように人間に分かる意味を一つずつ持つとも限らないね。
ひよこ ひよこ
同じ単語ならいつも同じベクトル?
ペンギン先生 ペンギン先生
Word2Vecのように学習済みの各単語へ一つのベクトルを割り当てる静的な表現がある。一方、BERTの出力では前後の文脈を反映したトークンの表現を得られるよ。入力時の単語の埋め込みと、文脈を処理した後の出力は区別しよう。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「埋め込み表現」って出てきたら「言葉などの特徴や関係を表す、数値のベクトル」と思えればだいたいOK!
📖 おまけ:英語の意味
「Embedding」 = 埋め込み
💬 embedは埋め込むこと。単語や画像などを数値の空間の点として表すイメージだよ。ここでは機械学習で使う埋め込み表現を扱うよ

参考資料

← 用語集にもどる