連続バッチ処理（LLM推論） とは？

そうだよ。LLMを使った推論サーバーで、複数のリクエストをまとめて（バッチで）GPUに処理させる技術なんだ。「連続」のポイントが重要でね。

普通の静的バッチは「8件リクエストが来たら一緒に処理して、全部終わったら次の8件」という流れなんだ。でもLLMは人によって返答の長さが全然違うから、短い返答のリクエストが終わってもGPUが長いリクエストに引っ張られて待ちになってしまうんだよ。

連続バッチは「あるリクエストが完了したら、即座に待機中の新しいリクエストをそのスロットに入れる」方式なんだ。レストランの席案内に例えると、全テーブルが同時に空くのを待つのではなく、1テーブルでも空いたら次のお客さんを通すイメージだね。

ワークロードの種類にもよるけど、同じGPUで数倍〜数十倍のスループットになることが多いよ。vLLMというフレームワークがPagedAttentionと組み合わせてこれを実装したことで、LLM推論の効率が劇的に改善されたんだ。

API利用者には透明だけど、推論コストや応答速度に直結するから、AIサービスを運営・選定する立場では知っておくと大事だよ。OpenAIやAnthropicのAPIサーバーでも使われている技術なんだ。