ミニバッチ とは？

全データを使ってから更新する方法もあるけれど、データが多いと計算やメモリの負担が大きくなるよ。ミニバッチ勾配降下法では、一部のまとまりを使い、その勾配を平均してパラメータを更新するんだ

この比較でのSGDは、1回に1件を使って更新する方法だよ。ミニバッチは複数件をまとめるので、計算をまとめて実行できる利点がある。ただし、ライブラリによってはミニバッチを使う方法も含めてSGDと呼ぶので、名前だけで件数を決めつけないようにしようね

別の数だよ。たとえば学習データが6件でバッチサイズ2なら、2件ずつ3組に分けられる。各組で1回ずつ更新する例では、1周で3回の更新だね。全データを1周したのが1エポックになるよ

万能な値はないよ。モデルや使えるメモリ、処理速度、学習率などによって選ぶ。大きければ必ず高精度、小さければ必ず汎化性能がよい、とは言えないので、学習時間と評価結果を確かめようね

一般に学習率ウォームアップは、学習の始めに学習率を低い値から徐々に上げる方法だよ。バッチサイズを変えることとは別の話なんだ。ミニバッチの大きさと、1回の更新でどれだけ動かすかを決める学習率は、区別して考えようね