キャッシュミス とは？

そのとおり！キャッシュを探したけどデータが見つからなかった状態のことだよ。図書館で言えば、手元の棚に本がなくて、倉庫まで取りに行かなきゃいけない感じだね。

CPUキャッシュでは「3C」という分け方が定番だよ。初めて使うデータで起きる「コールドミス（初回参照ミス）」、キャッシュ全体が小さくて追い出されたデータで起きる「キャパシティミス」、置き場所の決まり方のせいで同じ場所を奪い合う「コンフリクトミス」だね。複数のコアがあると、他のコアの書き込みでデータが無効になって起きるミスを加えることもあるよ。

コールドミスは、キャッシュをどれだけ大きくしても初回には起きるから避けにくいね。キャパシティミスは容量を増やすか扱うデータを減らす、コンフリクトミスはキャッシュの「連想度」を上げると減らせる。ただ連想度を上げるとヒットしたときの速度が落ちることもあるから、最終的には実行時間で比べるんだ。

CPUの場合、L1キャッシュが1ナノ秒前後なのに対して、メインメモリは50〜100ナノ秒ほどかかるという目安があるよ。つまり数十倍から100倍くらい待たされることがあるんだ。Webサーバーのキャッシュだと、ミスのたびにデータベースへ問い合わせが飛ぶから、アクセスが集中するとデータベースの負荷が一気に上がる原因になるよ。

プログラミングでは「データの局所性」を意識することが大事だよ。近くのメモリを順番にアクセスする「空間的局所性」と、同じデータを短期間に繰り返し使う「時間的局所性」を高めると、ヒット率が上がりやすいんだ。