コサイン類似度 とは？

2つの矢印（ベクトル）が同じ方向を向いていれば「似ている」、直角なら「関係なし」、逆方向なら「正反対」と判定するんだ。例えば「犬」と「猫」のベクトルは近い方向を向いていて、「犬」と「経済学」のベクトルは全然違う方向を向いている、というイメージだよ。

ユークリッド距離は「2点間の直線距離」を測るから、ベクトルの長さ（大きさ）に影響されるんだ。コサイン類似度は方向だけを見るから、長さの違いを無視できる。例えば短い文書と長い文書でも、話題が同じなら高い類似度が出るのがコサイン類似度の利点だよ。

一番有名なのは文書や単語の類似度計算だね。検索エンジンでクエリと文書の関連度を測ったり、推薦システムでユーザーの好みとアイテムの類似度を計算したりする。最近ではRAGでも、質問に関連する文書を見つけるためにコサイン類似度が活躍しているよ。

ユークリッド距離は「点と点の直線距離」で、ベクトルの大きさ（長さ）に影響される。コサイン類似度は「ベクトルの向き」だけを見るから、文書の長さに関係なく内容の類似性を測れるんだ。たとえば「猫」を100回書いた文書と1回書いた文書は、ユークリッド距離では遠いけどコサイン類似度では同じ方向を向いているよ。実はOpenAIのEmbedding APIは正規化されたベクトルを返すから、コサイン類似度と内積が一致するんだ。この場合は内積の方が計算が速いから、大規模検索では内積が使われることが多いよ。