PagedAttention とは？

LLMが文章を生成するとき、過去の計算結果を「KVキャッシュ」として保存するんだ。PagedAttentionはそのキャッシュをOSのページング（仮想メモリ管理）と同じ発想で、固定サイズのブロックに区切って管理する技術だよ。

従来の方法だとKVキャッシュをシーケンスの最大長分まるごと確保するから、GPUメモリがスカスカでもったいない状態（断片化）になりやすかったんだ。ページ単位に分ければ必要な分だけ割り当てられて効率的だよ。

かなり変わるよ！vLLMという推論エンジンがPagedAttentionを採用して、同じGPUで処理できるリクエスト数が最大24倍になった実験結果が論文で示されたんだ。

むしろその状況で真価を発揮するよ。同じプロンプトプレフィックスを持つリクエスト間でブロックを共有（プレフィックスキャッシュ）できるから、重複計算が大幅に減るんだ。

うん、vLLM発表後に多くの推論フレームワークが同様の仕組みを取り入れたよ。Flash AttentionがGPU計算を速くするのと対になる技術で、「メモリ管理の革命」とも呼ばれているんだ。