【えるえるえむ(だいきぼげんごもでる)】

LLM(大規模言語モデル) とは?

公開:
💡 大量の文章を読んで「言葉の続き」を予測する天才

大量のテキストデータで学習し、人間のような自然言語の理解・生成ができるAIモデル。GPTやClaudeなどの基盤となる技術。

📌 このページのポイント
LLM(大規模言語モデル)の仕組み 入力テキスト 「今日の天気は」 LLM Transformer層 Transformer層 Transformer層 ×N 大量のテキストで学習した重み 次の単語を予測 出力テキスト 「晴れです」 大量の文章から学んだパターンで、続きの言葉を予測して生成する
LLM(大規模言語モデル)のイメージ
ひよこ ひよこ
LLMって何の略なの?
ペンギン先生 ペンギン先生
Large Language Model、日本語で「大規模言語モデル」の略だよ。大量の文章データを学習して、人間みたいに自然な文章を理解したり生成したりできるAIモデルのことだね
ひよこ ひよこ
「大量の文章を学習」ってどういうこと?
ペンギン先生 ペンギン先生
インターネット上の文章や書籍など、ものすごい量のテキストを読み込んで、この単語の次にはどんな単語が来やすいかというパターンを学習するんだよ。それを繰り返すことで、文脈に合った自然な文章を作れるようになるんだ
ひよこ ひよこ
じゃあLLMは丸暗記してるの?
ペンギン先生 ペンギン先生
丸暗記じゃなくて、パターンや関係性を学んでいるイメージだね。だから学習データにない質問にも、それらしい答えを作り出せるんだよ。ただし正確性が保証されるわけじゃなくて、もっともらしい間違い(ハルシネーション)をすることもあるから注意が必要
ひよこ ひよこ
ChatGPTClaudeもLLMなの?
ペンギン先生 ペンギン先生
そうだよ。どちらもTransformerというアーキテクチャをベースにしたLLMだね。パラメータ数(モデルの中の調整可能な数値の数)が数十億〜数兆に及ぶこともあって、その規模の大きさから「大規模」言語モデルと呼ばれているんだ
ひよこ ひよこ
パラメータ数が多いほど賢いの?
ペンギン先生 ペンギン先生
傾向としてはそうだけど、それだけじゃないよ。学習データの質や量、学習方法の工夫も重要。最近は小さくても効率的なモデルの研究も進んでいて、パラメータ数だけがすべてじゃなくなってきているんだ
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「LLM」って出てきたら「大量の文章から学んだ言葉の予測マシン」と思えればだいたいOK!
📖 おまけ:英語の意味
「Large Language Model」 = 大規模言語モデル
💬 Large(大規模)+ Language Model(言語モデル)。パラメータ数や学習データが「大規模」なのが特徴だよ
← 用語集にもどる