キャッシュメモリ とは？

CPUの処理に対して、メインメモリからデータを読む待ち時間が問題になることがあるよ。そこで、使うデータや命令の一部を小さな近いメモリに置くんだ。手元の棚から取れれば、遠い棚へ行く回数を減らせる、という例えだね。

必要なデータが、そのキャッシュに見つかること。なければミスで、ほかの階層から取り出す必要があるよ。容量には限りがあり、データを入れ替える。使うデータの並び方や再利用のされ方によって、ヒットのしやすさが変わるんだ。

構成はCPUによるよ。複数の階層がある場合、一般にCPUに近い階層ほど小さく、短い待ち時間で使える。大きな下位の階層も組み合わせるんだ。容量・共有の範囲・待ち時間を、どのCPUでも同じ値として覚える必要はないよ。

通常のCPUキャッシュの取り込みや入れ替えは、主にハードウェアが行うよ。データはキャッシュラインというまとまりで扱う。先読みの機能もあるけれど、使うものを全部予測できるわけではない。性能を改善するときは、まず測定してデータの使い方を見直すんだ。

対応するハードウェアには、同じメモリの値を扱うキャッシュどうしの整合性を保つ仕組みがあるよ。ただし、それだけで複数スレッドの処理が安全になるわけではない。読み書きの順序や同時変更には、ロックやアトミック操作など、言語と環境に合う同期も必要なんだ。