投機的デコーディングとは何ですか？

小さなモデルで先にトークンを下書きし、大きなモデルで一括検証することでLLMの推論を高速化する技術。出力品質を落とさず速度を改善できる。

投機的デコーディングのポイントは？

小型のドラフトモデルが複数トークンを先読み生成し、大型モデルがまとめて検証する。大型モデルの出力分布と数学的に一致するため、品質劣化がない。推論速度を2〜3倍に高速化できるケースがある。メモリ使用量は増えるが、レイテンシ重視のサービスで特に効果的

【とうきてきでこーでぃんぐ】

💡 下書きは小さい子に任せて、仕上げチェックはエースにお願い

📌 このページのポイント

投機的デコーディングのイメージ

ひよこ

なんでLLMの文章生成って遅いの？

ペンギン先生

LLMは1トークンずつ順番に生成するんだけど、大きなモデルだと1トークン生成するだけでも大量の計算が必要なんだ。100トークンの文章なら、その重い計算を100回繰り返すことになるよ

ひよこ

投機的デコーディングはどうやって速くするの？

ペンギン先生

まず軽い小型モデルが「たぶんこう続くだろう」と5〜10トークンくらい先に下書きするんだ。次に大型モデルがその下書きをまとめて検証する。大型モデルは複数トークンを並列にチェックできるから、1トークンずつ生成するより速いんだよ

ひよこ

下書きが間違ってたらどうなるの？

ペンギン先生

間違いが見つかった時点でそこから先を捨てて、大型モデルが正しいトークンを出し直すよ。数学的にうまく設計されていて、最終的な出力の確率分布は大型モデルだけで生成した場合と完全に一致するんだ。つまり品質は落ちないよ

ひよこ

いつでも速くなるの？

ペンギン先生

ドラフトモデルの予測精度が高いほど効果が大きいよ。文脈が明確な定型的な文章では採用率が高くなって大幅に速くなるけど、創造的な文章だと予測が外れやすくて効果が薄れることもある。最近はモデル内部の浅い層をドラフトに使うSelf-Speculative Decodingなんて手法も研究されているね

まとめ：ざっくりこれだけ覚えればOK！

「投機的デコーディング」って出てきたら「小さいAIの下書きを大きいAIが高速チェックする技」と思えればだいたいOK！

📖 おまけ：英語の意味

「Speculative Decoding」＝投機的復号

💬 Speculativeは「投機的な・推測の」という意味。CPUの投機的実行と同じ発想で、当たりを予測して先に進めておくんだよ