【けーえるだいばーじぇんす】
KLダイバージェンス とは？
公開:
💡 2つの確率分布のギャップを数字にする、AIの物差し
📌 このページのポイント
ひよこ KLダイバージェンスって何を測るものなの？
ペンギン先生 2つの確率分布がどのくらい違うかを数字で測るものだよ。たとえば天気予報Aと天気予報Bがどのくらい違う予測をしているか、というのを1つの数字で表せるんだ
ひよこ クロスエントロピーとは何が違うの？
ペンギン先生 クロスエントロピーはKLダイバージェンスにエントロピーを足したものなんだ。正解分布が固定の場合は実質的に同じ意味になるけど、2つの分布が両方変わる場合はKLダイバージェンスを使う必要があるよ
ひよこ AIのどんなところで使われてるの？
ひよこ 非対称って聞いたけど、どういうことかな？
ペンギン先生 AからBへのKLダイバージェンスとBからAへのKLダイバージェンスが違う値になるんだ。つまり距離とは違うんだよ。この非対称性があるからこそ、用途によって方向を使い分ける必要があるんだ。ちょっとクセのある指標だね
まとめ：ざっくりこれだけ覚えればOK！
「KLダイバージェンス」って出てきたら「2つの確率分布の違いを測る指標」と思えればだいたいOK！
📖 おまけ：英語の意味
「Kullback-Leibler Divergence」 ＝ カルバック・ライブラーの発散度
💬 KullbackさんとLeiblerさんが1951年に提案した指標で、情報理論の古典だよ