Word2Vec とは？

コンピュータは文字のままだと計算できないから、単語を数字の並び（ベクトル）に変換するんだよ。Word2Vecは「似た文脈で使われる単語は似た意味を持つ」っていう考え方で、各単語に200〜300次元くらいの数字の住所を割り当てるんだ

出るんだよ、これが。kingのベクトルからmanのベクトルを引くと「王族っぽさ」みたいな成分が残る。そこにwomanを足すとqueenに一番近いベクトルになる。単語の意味関係が足し算・引き算で表現できるって発見は衝撃的だったんだ

予測の方向が逆なんだ。CBOWは「周りの単語から真ん中の単語を当てる」、Skip-gramは「真ん中の単語から周りの単語を当てる」。一般的にSkip-gramの方が出現頻度の低い単語にも強いって言われてるよ。大規模コーパスならCBOWの方が速い

直接は使ってないけど、考え方の土台になってるよ。GPTやBERTもまず単語（トークン）をベクトルに変換する「埋め込み層」があるんだ。Word2Vecがその概念を切り拓いたって意味で、現代NLPの出発点と言っていいね

あるよ。ベテランでも意外と知らないんだけど、Word2Vecの学習で使われる「ネガティブサンプリング」って技術は、今の対照学習（Contrastive Learning）の原型なんだ。CLIPとかSimCLRみたいな最新手法の根っこにWord2Vecの発想がある。あと、Word2Vecのベクトルには学習データの偏見がそのまま反映される問題（例えば「doctor」が「man」に近くなる）があって、これが今のLLMのバイアス問題を考える上でも重要な教訓になってるんだよ