GPT とは？

基本原理はすごくシンプルで「次に来る単語を予測する」の繰り返しなんだ。「今日の天気は」と入れると「晴れ」が来そうだと予測し、「今日の天気は晴れ」から次の「です」を予測し……と一語ずつ生成していくよ。

BERTは文章の「理解」が得意で、GPTは文章の「生成」が得意なんだ。技術的には、BERTはTransformerのエンコーダー（入力を理解する部分）を使い、GPTはデコーダー（出力を生成する部分）を使っている。用途に応じて使い分けるイメージだよ。

一番わかりやすいのはパラメータ数（モデルの大きさ）の増加だよ。GPT-1は約1億、GPT-2は約15億、GPT-3は約1750億パラメータ。大きくなるほど知識量が増えて、より複雑なタスクをこなせるようになった。GPT-4以降はマルチモーダル対応で画像も扱えるようになったんだ。

本当だよ。GPTは「次に来そうな単語」を予測しているだけで、真偽を判断しているわけではないんだ。だからもっともらしいけど事実と異なる回答（ハルシネーション）が発生する。特に最新の情報や専門性の高い内容では注意が必要だよ。

インターネット上の大量のテキストデータだよ。Webページ・書籍・論文・Wikipediaなどが含まれている。ただし著作権やプライバシーの問題が議論されていて、New York TimesがOpenAIを著作権侵害で提訴した事例もある。学習データの透明性と権利処理は、AI業界全体の大きな課題なんだ。