Flash Attention とは？

普通のアテンション計算はトークン数が増えると必要なメモリが2乗で膨らんでしまうんだ。1024トークンが2048になると、メモリは4倍になる計算だよ。

そうなんだ。Flash AttentionはGPUの「速いけど小さいメモリ（SRAM）」を賢く使って、計算を小さな塊に分けて処理するんだ。低速な大きいメモリ（VRAM）へのアクセスを最小限に抑えることで劇的に速くなるよ。

完全に同じ結果が出るんだ。これがポイントで、近似じゃなく数値的に等価な計算を、より少ないメモリアクセスで実現してるんだよ。

タイリング（ブロック分割）とリコンピュートという2つの技術がポイントだよ。計算途中の大きな行列をいちいちVRAMに保存せず、必要なとき再計算する方が速いというGPU特性を利用してるんだ。

GPT-4・Llama・Claude・Geminiなど、現代の主要なLLMはほぼ全部Flash Attentionを採用してるよ。学習速度が最大8倍速くなるから、AI開発のコストを大きく下げた重要な技術なんだ。