【すけーりんぐそく】

スケーリング則とは？

最終更新: 2026年10月4日

💡 規模と性能の関係を捉える経験則

モデルの規模・学習データ量・計算量と、測定した性能指標との関係に見られる経験則。言語モデルでは損失がべき乗に近い形で減る傾向が報告され、学習資源の配分を考える手掛かりになる。

📌 このページのポイント

2020年の言語モデル研究で報告された傾向の模式図。損失の減少は、あらゆる能力や正答率の向上の保証ではない。

ひよこ

スケーリング則って、大きいほど賢いという意味？

ペンギン先生

モデルの規模やデータ量などと、測った指標との関係を表す経験則だよ。言語モデルの研究では、文章の予測の誤差を表す損失が減る傾向が観測された。大きさだけで、あらゆる課題に強くなると証明したわけではないんだ

ひよこ

どうやって調べたの？

ペンギン先生

2020年のKaplanらの研究では、規模やデータ量などを変えて言語モデルを学習し、クロスエントロピー損失との関係を調べたよ。ほかの要素がボトルネックにならない範囲で、損失がべき乗に近い形で減ると報告しているんだ

ひよこ

べき乗って、グラフではどう見えるの？

ペンギン先生

横軸と縦軸の両方を対数にすると、べき乗の関係は直線になるよ。研究では損失が減る関係なので、規模が増える方向に線が下がる。損失の減少と、正答率が同じ割合で上がることは別なんだ

ひよこ

計算予算が決まっていたら、モデルだけ大きくすればいい？

ペンギン先生

モデルの規模と学習データ量の配分を考える必要があるよ。2022年のHoffmannらの研究は、一定の計算予算で、より小さいモデルをより多くのデータで学習する設計を検討した。配分の推定は研究条件によって変わるんだ

ひよこ

この関係を使えば、未来の能力まで分かる？

ペンギン先生

学習計画を見積もる手掛かりにはなるけれど、測った範囲の外でも同じ関係が続く保証はないよ。モデル、データ、学習方法、評価指標の条件を確認しよう。損失だけで、実際の仕事の正確さや安全性まで判断することもできないんだ

まとめ：ざっくりこれだけ覚えればOK！

「スケーリング則」って出てきたら「規模と測定した性能の関係に見られる経験則」と思えばだいたいOK！

📖 おまけ：英語の意味

「Scaling Law」＝規模に関する法則

💬 Scalingは規模の変化、Lawは法則。AIの文脈では実験で観測された関係を指し、条件を問わず成り立つ能力向上の保証ではないよ

参考資料