コールドスタート とは？

サーバーレスは「使っていないときはリソースがゼロ」が売りだよね。でもリクエストが来たときに実行環境を0から用意する必要がある。コンテナの起動・ランタイムの初期化・コードのダウンロードと展開を全部やってからコードが動くから、その分だけ遅延が発生するんだ。

言語によって全然違うんだ。Python・Node.jsなら100〜300ms程度だけど、Java・.NETだと1〜5秒かかることもある。JVMの起動やクラスロードに時間がかかるからね。パッケージサイズが大きいほどコードのダウンロードにも時間がかかるよ。

AWS Lambdaには「Provisioned Concurrency」があって、あらかじめ実行環境を温めておける。定期的にダミーリクエストを送って環境を維持する「ウォーミング」もよく使われるよ。あとはパッケージサイズを小さくする、不要なライブラリを除く、というのも効果的だね。

理論上はそうなんだけど、実運用ではそう単純じゃないんだ。Provisioned Concurrencyは「常にN個の環境を温めておく」仕組みだから、Nを超えるリクエストが同時に来たらやっぱりコールドスタートが発生する。そしてNを大きくすると常時課金が発生して、サーバーレスの「使った分だけ払う」メリットが薄れる。結局「コールドスタートのレイテンシ」と「常時起動のコスト」のトレードオフで、ビジネス要件としてレイテンシのP99（99パーセンタイル）がどこまで許容されるかによって判断が変わるんだよ。APIゲートウェイの裏のLambdaなら数百msは許容できるけど、リアルタイム性が求められる決済APIだとコールドスタートは致命的、みたいにね。