【ワードツーベック】
Word2Vec とは?
最終更新:
💡 単語の使われ方から、数字の住所を学ぶ
文章中の単語の使われ方を学習し、各単語を数値のベクトルで表す手法の系列。2013年にMikolovらがCBOWとSkip-gramを提案した。学習した表現で単語の類似性や関係を調べられるが、意味を完全に理解する仕組みではない。
📌 このページのポイント
Word2Vecは、単語をどうやって数字にするの?
たくさんの文章を使い、どの単語の近くで使われるかを手がかりに、数字の並びを学習するよ。単語ごとの住所のような表現で、似た使われ方の単語を比較できる。数字の数である次元数は、設定で選ぶんだ
CBOWとSkip-gramは、何が違うの?
予測の向きが違うよ。CBOWは周囲の単語から中心の単語を予測する。Skip-gramは中心の単語から周囲の単語を予測する。予測を学習する中で、単語のベクトルも調整されるんだ
king − man + womanは、必ずqueenになる?
BERTのように、前後の文で意味を変えられる?
数字で表せば、単語の意味は客観的になる?
学習した文章の使われ方を反映した表現だよ。人間と同じ意味理解ではないし、社会的な偏りも反映されることがある。類似度や関係を調べる用途では、学習データと結果を確かめよう。学習済みの語彙にない単語の扱いも確認するんだ
まとめ:ざっくりこれだけ覚えればOK!
「Word2Vec」って出てきたら「単語の使われ方から、単語を数字のベクトルで表す技術」と思えばだいたいOK!
📖 おまけ:英語の意味
「Word to Vector」 = 単語からベクトルへ
💬 2は英語のtoと同じ音で、単語をベクトルにする名前だよ。単語の分散表現にはそれ以前の研究もあり、Word2Vecが初めて考案したという意味ではないんだ