【ワードツーベック】

Word2Vec とは?

最終更新:
💡 単語の使われ方から、数字の住所を学ぶ

文章中の単語の使われ方を学習し、各単語を数値のベクトルで表す手法の系列。2013年にMikolovらがCBOWとSkip-gramを提案した。学習した表現で単語の類似性や関係を調べられるが、意味を完全に理解する仕組みではない。

📌 このページのポイント
単語の使われ方を、ベクトルで表す似た使われ方を比較する犬猫馬りんごみかんぶどう単語の関係を、差で調べる例king − man + woman計算したベクトルに queen が近い例結果は学習データ・設定で変わる
上段の位置は説明用に描いた2次元の模式図で、実際の学習結果ではありません。青は動物、緑は果物の例。下段は類推の例で、必ずqueenになる等式ではありません。
ひよこ ひよこ
Word2Vecは、単語をどうやって数字にするの?
ペンギン先生 ペンギン先生
たくさんの文章を使い、どの単語の近くで使われるかを手がかりに、数字の並びを学習するよ。単語ごとの住所のような表現で、似た使われ方の単語を比較できる。数字の数である次元数は、設定で選ぶんだ
ひよこ ひよこ
CBOWとSkip-gramは、何が違うの?
ペンギン先生 ペンギン先生
予測の向きが違うよ。CBOWは周囲の単語から中心の単語を予測する。Skip-gramは中心の単語から周囲の単語を予測する。予測を学習する中で、単語のベクトルも調整されるんだ
ひよこ ひよこ
king − man + womanは、必ずqueenになる?
ペンギン先生 ペンギン先生
その計算で得たベクトルに、queenのベクトルが近くなる例だよ。文字の式がそのまま等号で成り立つわけではない。どの単語が近くなるかは、学習データ、設定、類似度の測り方によって変わるんだ
ひよこ ひよこ
BERTのように、前後の文で意味を変えられる?
ペンギン先生 ペンギン先生
通常のWord2Vecでは、学習後は単語ごとに固定のベクトルを使うよ。同じ単語の複数の意味が混ざることもある。BERTは前後の文脈を使った表現を作るので、同じ単語でも使われた文に応じた表現を扱えるんだ
ひよこ ひよこ
数字で表せば、単語の意味は客観的になる?
ペンギン先生 ペンギン先生
学習した文章の使われ方を反映した表現だよ。人間と同じ意味理解ではないし、社会的な偏りも反映されることがある。類似度や関係を調べる用途では、学習データと結果を確かめよう。学習済みの語彙にない単語の扱いも確認するんだ
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「Word2Vec」って出てきたら「単語の使われ方から、単語を数字のベクトルで表す技術」と思えばだいたいOK!
📖 おまけ:英語の意味
「Word to Vector」 = 単語からベクトルへ
💬 2は英語のtoと同じ音で、単語をベクトルにする名前だよ。単語の分散表現にはそれ以前の研究もあり、Word2Vecが初めて考案したという意味ではないんだ

参考資料

← 用語集にもどる