大規模言語モデル とは？

「規模」がケタ違いなんだ。普通の言語モデルは数百万〜数億のパラメータを持つけど、大規模言語モデルは数百億〜数兆個を持つ。それだけ多くのことを覚えられるから、まるで何でも知っているかのように見えるんだよ。

「創発（エマージェンス）」という現象が起きるんだ。規模を大きくするだけで、誰も教えていない能力が突然現れることがある。たとえば算数の文章題を段階的に考える能力が、ある規模を超えると急にできるようになるんだよ。

基本は「穴埋め問題」だよ。「東京は日本の＿＿だ」という文章から「首都」を予測する練習を、数千億文字分のテキストで繰り返すんだ。それを何度もやることで、言語の構造や世界の知識を自然に身につけていく。

そうだよ。ChatGPTはGPT-4という大規模言語モデルをベースに、「人間が好む返答をする」よう追加で調整したものなんだ。モデル自体とサービスを区別して理解するのが大事だね。

これが実は難しい問いでね。「スケーリング則」という考え方では、パラメータ数・データ量・計算量を増やすと性能が予測通りに上がるとされてきた。でも最近は「規模を増やすだけでは頭打ちになる」という意見も出てきていて、推論時に計算を増やす「テスト時計算量スケーリング」という新しい方向性も注目されているんだ。スケールアップの限界がどこにあるかは、研究者たちが今まさに議論しているところだよ。