モデル推論 とは？

学習は「問題集を解きながら答え合わせをして知識を更新する」フェーズ。推論は「学んだ知識をもとに実際の問題に答える」フェーズだよ。学習はパラメータを変更するから重い処理で時間がかかるけど、推論はパラメータを読み込んで計算するだけだから速いんだ。

主に「モデルのサイズ」と「どのハードウェアで動かしているか」で決まるよ。大型モデルほど計算が多いし、GPUを多く使えるほど速い。あとLLMはトークンを一つずつ生成するから、長い答えほど時間がかかる。「最初の文字が出るまでの時間（Time To First Token）」と「1秒あたりの生成トークン数」がよく使われる指標だよ。

バッチ処理（複数リクエストをまとめて処理）、量子化（モデルを軽くする）、モデルの蒸留（大きいモデルを小さいモデルに圧縮する知識蒸留）などの手法があるよ。専用のハードウェア（IntelのGaudiやGoogleのTPUなど）を使うこともあるんだ。

実は推論でもメモリは大量に必要なんだ。LLMの推論では「KVキャッシュ」というものを使って、過去のトークンの計算結果を保存しながら生成を続ける。会話が長くなるほどKVキャッシュが大きくなって、バッチサイズを増やすとさらにメモリを食う。「モデルパラメータのメモリ」と「推論時の中間状態のメモリ」の両方が必要なので、大型モデルの推論サーバーの設計は学習と同じくらいメモリ管理が重要で、これを見落としてシステムを組むと本番環境でOOMエラーが出て動かない、というのはよくある落とし穴なんだよ。