モデル推論 とは？

学習はデータを使ってモデルのパラメータを調整すること。推論は、その学習済みモデルに入力を与えて予測や生成を行うことだよ。通常はパラメータを更新しないけれど、必ず軽い・速い処理になるわけではないんだ。

モデルの規模、入力と出力の長さ、ハードウェア、混雑や実行方法などが関係するよ。自己回帰型のLLMは通常、前のトークンをもとに次を生成する。GPUを増やせば必ず比例して速くなる、というものではないんだ。

要求してから最初のトークンが返るまでがTTFT、応答全体を待つ時間もレイテンシの指標だよ。一方、サーバーが1秒に処理するトークン数などはスループット。1人の待ち時間と、全体でさばける量を分けて見るんだ。

複数の要求をまとめるバッチ処理、量子化、蒸留した小さなモデルなどが候補だよ。ただし、バッチを大きくすると全体の処理量が増えても、個々の応答が遅くなる場合がある。品質・待ち時間・メモリ・費用を実際の条件で確かめよう。

モデルのパラメータ以外にも作業用メモリが必要だよ。たとえばLLMのKVキャッシュは、過去のトークンから計算したキーと値を保存して再利用する。一般的な動的キャッシュは系列が長いほど増え、同時に扱う要求の数も必要量に影響する。固定長や古い部分を外す方式もあるので、実装を確認しよう。