バッチ正規化 とは？

普通の正規化は入力データ全体に対して行うけど、バッチ正規化はニューラルネットワークの各層の中間出力に対して行うんだ。ミニバッチ単位でデータの平均を0、分散を1に揃える処理だよ。

ニューラルネットは層が深くなると、前の層の重みが更新されるたびに次の層への入力分布がどんどん変わってしまうんだ。これを「内部共変量シフト」と呼ぶんだけど、学習が不安定になる原因になるよ。バッチ正規化で各層の入力を整えてあげると、学習がスムーズに進むんだ。

学習速度が大幅に上がるのが一番の効果だね。学習率を大きく設定しても発散しにくくなるから、同じ精度に到達するまでの時間が短縮されるよ。さらに正則化効果もあるから、ドロップアウトなしでも過学習を抑えられることがあるんだ。

いい質問だね。推論時は1件ずつ処理することが多いから、ミニバッチの統計量は使えないよ。代わりに学習中に計算した平均と分散の移動平均（running mean / running variance）を使うんだ。だから学習モードと推論モードで挙動が異なる点には注意が必要だよ。

あるよ。Layer Normalization（層全体で正規化）、Instance Normalization（画像1枚ごとに正規化）、Group Normalization（チャンネルをグループ分けして正規化）などがあるんだ。バッチサイズが小さいとバッチ正規化の精度が落ちるから、そういう場面ではGroup Normalizationが選ばれることが多いね。TransformerではLayer Normalizationが主流だよ。