【おもみ】
重み（ウェイト） とは？
💡 AIの「判断のクセ」を決める目に見えない調整つまみ
📌 このページのポイント
- ニューラルネットワークのニューロン間の接続の強さを表す数値
- 学習とは、データを使って重みを少しずつ調整していくプロセスのこと
- 重みの初期値はランダムに設定され、学習を通じて最適な値に近づいていく
- GPT-4クラスのモデルでは数千億個以上の重みパラメータが存在する
ひよこ 重みってなに？AIの中に天秤でもあるの？
ペンギン先生 いい例えだね！まさに天秤みたいなものだよ。たとえば猫の画像を判別するとき、「とがった耳」に大きい重み、「背景の色」に小さい重みをつけて、重要な特徴を見分けてるんだ
ひよこ じゃあ学習するってことは、その重みを変えていくってこと？
ペンギン先生 その通り！最初はデタラメな重みからスタートして、間違えるたびに「ここの重みをもうちょっと大きくしよう」「こっちは小さくしよう」って微調整していくんだよ。これがバックプロパゲーションっていう仕組みだね
ひよこ おもしろい！重みって全部でいくつくらいあるの？
ペンギン先生 ひよこ えっ、そんなに！全部ちゃんと意味があるの？
ペンギン先生 実はここがベテランでも議論になるところでね。すべての重みが本当に必要かっていうと、実はそうでもないんだ。「プルーニング」っていう技術で重みの90%以上をゼロにしても性能がほとんど落ちないケースもあるよ
ひよこ 90%も！？じゃあ無駄が多いってこと？
ペンギン先生 そこが面白いところで、学習時には冗長な重みがあった方がうまく学べるんだけど、推論時には削減できるんだ。人間の脳も成長過程でシナプスの「刈り込み」が起きるんだけど、それにすごく似てるんだよね
まとめ：ざっくりこれだけ覚えればOK！
「重み」って出てきたら「AIが学習で調整する無数の数値つまみ」と思えればだいたいOK！
📖 おまけ：英語の意味
「Weight」 ＝ 重み・重要度
💬 数学や統計で「重み付け」って使うのと同じ感覚だよ。ある入力をどれくらい重要視するかを数値で表してるんだ