【ジーピーティー】
GPT とは？
最終更新:
💡 文脈から続きを組み立てる、事前学習済みのAI
Generative Pre-trained Transformerの略。大量のデータで事前学習したTransformer系の生成モデルを指し、OpenAIのモデルシリーズ名にも使われる。文章生成は、文脈から次のトークンを選ぶ操作を繰り返すことが基本となる。
📌 このページのポイント
- GPTはGenerative Pre-trained Transformerの略
- 事前学習で言語のパターンなどを学び、用途に合わせた追加学習も行う
- 単語と同じとは限らない「トークン」を単位に文章を生成する
- もっともらしい誤りも生じる。文章が自然なことと事実の正しさは別
ひよこ GPTってChatGPTと同じなの？
ひよこ どうやって文章を作るの？
ペンギン先生 入力と、そこまで生成した内容を手掛かりに、次のトークンを選んで続きを作るんだ。トークンは文字や単語の一部などで、必ず一単語ずつになるわけではないよ。
ひよこ 事前学習って、会話の前に勉強すること？
ペンギン先生 利用者が話しかける前に、大量のデータから言語のパターンなどを学ぶ段階だよ。その後、指示に沿う回答や会話に適した振る舞いへ追加学習することもあるんだ。
ひよこ 学習した文章を検索して、そのまま返すの？
ペンギン先生 基本の文章生成では、学習済みのモデルが文脈に合う続きを作るよ。検索ツールを組み合わせるサービスもあるけれど、生成と検索は別の仕組みなんだ。
ひよこ 自然な文章なら、答えも正しい？
ペンギン先生 そこは別だよ。存在しない資料や誤った事実を、もっともらしく出すハルシネーションも起きる。重要な情報は、提示された出典の本文などで確かめようね。
📖 おまけ：英語の意味
「Generative Pre-trained Transformer」 ＝ 事前学習したTransformerを使う生成モデル
💬 「Generative（生成する）」「Pre-trained（事前学習済み）」「Transformer（変換器）」の頭文字。テキストを生成できる事前学習済みのTransformerモデルという意味だよ