レイテンシ とは？

①物理的な距離（光の速度の限界。東京↔ニューヨークで約100ms）、②ネットワーク機器の処理時間（ルーター、スイッチ）、③サーバーの処理時間（DB問い合わせ、アプリの計算）、④プロトコルのオーバーヘッド（TLSハンドシェイク等）。この合計がレイテンシだよ

レイテンシは「1つのリクエストの応答速度」、スループットは「単位時間あたりの処理量」。高速道路に例えると、レイテンシは「東京から大阪までの所要時間」、スループットは「1時間に何台の車が通過するか」。両方が大事で、片方が良くてもサービス体験は悪くなりうるよ

①CDN（ユーザーの近くからコンテンツを配信）、②キャッシュ（Redisでミリ秒レベルで応答）、③コネクションプーリング（DB接続の使い回し）、④HTTP/2やHTTP/3で接続確立を高速化、⑤データセンターの配置（ユーザーが多い地域にサーバーを設置）。地道な改善の積み重ねだよ

リクエストの99%が完了するまでの時間だよ。平均レイテンシが50msでも、1%のリクエストが5秒かかっていたらユーザー体験は最悪。P50（中央値）、P95（95パーセンタイル）、P99で「最悪のケースでもどれくらいか」を把握するのがSREの基本。AmazonはP99で100ms以下を目標にしているよ