【じこかいきもでる】
自己回帰モデル とは？
最終更新:
💡 これまでの値や文脈を見て、次を予測
対象自身の過去の値を手がかりに次を予測するモデル。時系列の自己回帰と、入力文・生成済みの文章から続きを作る言語モデルの使い方を分けて説明します。
📌 このページのポイント
- 時系列では、対象自身の過去の観測値から次の値を予測する
- 言語生成では、入力文と生成済みのトークンを使って続きを予測する
- 生成した続きを文脈へ加え、さらに次を予測する
- 画面で少しずつ表示されることだけでは、内部の生成方式は判断できない
ひよこ 自己回帰は、文章を作るAIだけの言葉？
ペンギン先生 時系列の予測でも使うよ。例えばある日の値を、その対象の前日や前々日の観測値から予測するモデルがある。過去の値が必ずモデル自身の出力、というわけではないんだ。
ひよこ 文章を作るときは、どう使うの？
ペンギン先生 自己回帰型の言語モデルでは、入力文と生成済みのトークンから次を予測するよ。「今日は天気が」に「良い」を加え、次は「今日は天気が良い」の続きを考えるイメージ。実際のトークンの区切り方はモデルのトークナイザーで変わるんだ。
ひよこ 次の言葉は、一つに決まっているの？
ペンギン先生 候補の確率を計算し、最も確からしい候補を選んだり、確率に応じて選んだりするよ。選び方の設定でも出力は変わる。続きとして自然に見えることと、書かれている内容が事実であることは別なので、重要な情報は確認しよう。
ひよこ 少しずつ文字が表示されるのは、自己回帰の証拠？
ペンギン先生 生成の途中経過を順次送ることはあるけど、表示は通信やアプリの処理にも左右されるよ。画面で見える文字のまとまりが、内部の1トークンと同じとは限らない。表示だけで内部の方式を断定することはできないんだ。
まとめ：ざっくりこれだけ覚えればOK！
「自己回帰モデル」って出てきたら「自分自身の過去の値や、それまでの文脈から次を予測するモデル」と思えばだいたいOK！
📖 おまけ：英語の意味
「Autoregressive model」 ＝ 自己回帰モデル
💬 Autoは自分自身、regressionは統計で使う回帰を表します。時系列の自己回帰では、自身の過去の値を説明変数として使います。「前に戻る操作」という意味ではありません。