【じょうほうえんとろぴー】
情報エントロピー とは？
💡 「予想外」が多いほど情報量は多い——驚きを数値にする魔法の指標
📌 このページのポイント
ひよこ 情報エントロピーって、情報に「乱雑さ」があるってこと？
ペンギン先生 そう！簡単に言うと「次に何が来るか予測しにくいほど、情報量が多い」ということを数値化したものだよ。たとえば毎日晴れの砂漠で「明日も晴れ」と言われても驚かないけど、「明日は雪」と言われたらすごい情報量だよね。その「驚き度」を測るのがエントロピーだよ
ひよこ コイン投げだとどうなるの？
ペンギン先生 公平なコインは表と裏が50%ずつだから、エントロピーは最大の1ビットになるよ。でも表が100%出るイカサマコインなら結果は確定してるからエントロピーは0。つまり「結果が読めないほどエントロピーが高い」ということだね
ひよこ それがデータ圧縮と関係あるの？
ペンギン先生 大ありだよ！エントロピーが低い（パターンが予測しやすい）データほどよく圧縮できるんだ。ZIPファイルが小さくなるのは、元のデータに繰り返しパターンがあってエントロピーが低いから。シャノンはエントロピーが「これ以上圧縮できない理論限界」を決めることを証明したんだよ
ひよこ 機械学習でも使うって聞いたけど？
まとめ：ざっくりこれだけ覚えればOK！
「情報エントロピー」って出てきたら「予測しにくさを数値にしたもの」と思えればだいたいOK！
📖 おまけ：英語の意味
「Information Entropy」 ＝ 情報の乱雑さ・不確実さ
💬 クロード・シャノンが1948年に提唱した概念で、熱力学の「エントロピー（乱雑さ）」から名前を借りたんだよ