バッチ正規化 とは？

ニューラルネットワークの途中の値だよ。学習時には、特徴やチャンネルごとに、ミニバッチに含まれる値の平均と分散を計算する。平均を引き、分散に小さな定数εを足した値の平方根で割って値を整えるんだ。

その後に、学習する倍率γで掛け、加算値βを足すよ。だから最終出力の平均と分散は固定されないんだ。例えばεを省略した計算例では、平均2・分散1で1と3を整えると−1と1。それにγ=2、β=3を適用すると1と5になるよ。

2015年の論文は、学習中に層への入力分布が変わる「内部共変量シフト」を減らす説明をしたよ。後の研究では最適化の滑らかさに注目した説明もある。速度や精度が必ず上がるわけではなく、正則化の効果もドロップアウトを常に不要にする保証ではないんだ。

PyTorchの既定では、学習中に蓄積した平均と分散を使うよ。ただし track_running_stats=False の設定では、推論時にもそのバッチの統計量を使う。学習と推論のモード、それぞれの設定を確認しよう。

統計量の推定が不安定になる場合があるよ。別の手法として、チャンネルをグループに分け、バッチの大きさに依存せず平均・分散を計算するGroup Normalizationがある。どの手法が適切かは、モデルとデータで確かめるんだ。