KLダイバージェンスとは何ですか？

2つの確率分布がどのくらい異なるかを測る指標。AIモデルの学習や知識蒸留、VAEなど幅広い場面で使われる情報理論の基本概念。

KLダイバージェンスのポイントは？

ある確率分布が別の確率分布からどれだけ離れているかを非対称に測定する。知識蒸留で教師モデルと生徒モデルの出力分布を近づける際に使われる。VAE（変分オートエンコーダ）の損失関数の一部として重要な役割を持つ。非対称性がある（AからBへのKLとBからAへのKLは異なる）のが特徴

【けーえるだいばーじぇんす】

💡 2つの確率分布のギャップを数字にする、AIの物差し

📌 このページのポイント

KLダイバージェンスのイメージ

ひよこ

KLダイバージェンスって何を測るものなの？

ペンギン先生

2つの確率分布がどのくらい違うかを数字で測るものだよ。たとえば天気予報Aと天気予報Bがどのくらい違う予測をしているか、というのを1つの数字で表せるんだ

ひよこ

ペンギン先生

クロスエントロピーはKLダイバージェンスにエントロピーを足したものなんだ。正解分布が固定の場合は実質的に同じ意味になるけど、2つの分布が両方変わる場合はKLダイバージェンスを使う必要があるよ

ひよこ

AIのどんなところで使われてるの？

ペンギン先生

知識蒸留で大きなモデルの出力を小さなモデルに真似させるときや、VAEの学習、RLHFでの方策の制約など、いろんなところで使われているよ。AIの基礎中の基礎の概念だね

ひよこ

非対称って聞いたけど、どういうことかな？

ペンギン先生

AからBへのKLダイバージェンスとBからAへのKLダイバージェンスが違う値になるんだ。つまり距離とは違うんだよ。この非対称性があるからこそ、用途によって方向を使い分ける必要があるんだ。ちょっとクセのある指標だね

まとめ：ざっくりこれだけ覚えればOK！

「KLダイバージェンス」って出てきたら「2つの確率分布の違いを測る指標」と思えればだいたいOK！

📖 おまけ：英語の意味

「Kullback-Leibler Divergence」＝カルバック・ライブラーの発散度

💬 KullbackさんとLeiblerさんが1951年に提案した指標で、情報理論の古典だよ