【くろすえんとろぴー】
クロスエントロピー とは？
💡 AIの予測と正解のズレを測る、機械学習の基本ものさし
📌 このページのポイント
ひよこ クロスエントロピーって難しそうな名前だけど、何をするものなの？
ペンギン先生 AIの予測がどのくらい正解からズレているかを数字で測るものだよ。たとえばAIが『猫の確率90%』と予測して正解が猫なら、クロスエントロピーは小さくなるんだ
ひよこ 数字が小さいほどいいってことかな？
ペンギン先生 そうだよ。完璧な予測ならクロスエントロピーは0になる。AIの学習ではこの数字をどんどん小さくするように重みを調整していくんだ
ひよこ どこで使われてるの？
ひよこ KLダイバージェンスとは何が違うのかな？
ペンギン先生 実はクロスエントロピーはKLダイバージェンスとエントロピーの合計なんだ。正解の分布が固定の場合、クロスエントロピーの最小化はKLダイバージェンスの最小化と同じになるから、実用上はどちらを使っても同じ結果になるんだよ
まとめ：ざっくりこれだけ覚えればOK！
「クロスエントロピー」って出てきたら「AIの予測と正解のズレを測る指標」と思えればだいたいOK！
📖 おまけ：英語の意味
「Cross-Entropy」 ＝ 交差エントロピー
💬 情報理論のエントロピー（乱雑さ）を2つの分布間で交差させて比較するという意味だよ