ニューラルスケーリング則 とは？

そういうことだよ！モデルのパラメータ数・学習データ量・使う計算量、この3つを増やすほど性能が予測可能な形で上がっていくという経験則なんだ。

計算量を10倍にしたら性能がどれくらい上がるか、グラフを引けば事前にわかるんだよ。ぴったり直線になる「対数グラフ」で表せて、これをべき乗則（パワーロー）と呼ぶんだね。

理屈ではそうなんだけど、コストが膨大になるよね。そこで「Chinchilla則」という改良版が出てきて、モデルサイズとデータ量の最適なバランスがあることがわかったんだよ。

同じ計算予算なら、巨大なモデルに少ないデータより、適度なサイズのモデルに大量のデータを与えた方が効率がいいんだよ。GPT-3当時はモデルを大きくしすぎてデータが足りなかったことが後からわかったんだ。

訓練時の計算量を増やす恩恵が頭打ちになりつつあるんだよね。だから最近は「推論スケーリング」——つまり答えを出すときに多く考える——という方向への注目が高まっているんだ。スケーリング則の戦場が変わってきたともいえるね。