正規化（機械学習） とは？

例えば「年齢（0～100）」と「年収（0～1000万）」を一緒に学習すると、年収のスケールが大きすぎて年齢の影響が埋もれてしまうんだ。正規化で両方を0～1の範囲に揃えれば、どちらの特徴量も平等に学習に貢献できるようになるよ。

ニューラルネットワークの各層の入力を、ミニバッチ（データの小集団）ごとに平均0・分散1に正規化する技術だよ。これにより学習が安定して速くなるし、過学習も起きにくくなる。ディープラーニングでは定番中の定番テクニックだね。

名前が似ていて紛らわしいよね。正規化（Normalization）はデータのスケールを揃える処理。正則化（Regularization）はモデルの複雑さにペナルティを与えて過学習を防ぐ手法。目的が違うけど、どちらも学習を改善する重要なテクニックだよ。

バッチ正規化はミニバッチ内のデータ全体で統計量を計算するけど、レイヤー正規化は1つのサンプル内の全ニューロンで計算するんだ。Transformerモデルではレイヤー正規化が標準的に使われているよ。バッチサイズが小さい場合や、系列データを扱うときに安定するのが強みだね。

確かに多いよね。実は深層学習の歴史で「どこで正規化するか」が大きな研究テーマで、バッチ正規化（2015年）→レイヤー正規化（2016年）→グループ正規化（2018年）→RMSNorm（2019年）と進化してきたんだ。最新のLLMではRMSNormが使われていて、計算コストを抑えつつ性能を維持できるのがポイントだよ。