OSのメモリ管理の仕組み — アプリの作業場所とRAMはどう違う?
アプリの作業場所と、RAMを分ける
ページと、変換のキャッシュ
アプリに見える場所と、RAMの場所をつなぐ
ページフォルトは、正常時にも起きる
使用量と、不足した範囲を調べる
まずは、3つの「使用量」を分ける
メモリはアプリの作業場所ですが、表示される数字は同じ範囲を測っているとは限りません。アプリのヒープ、プロセスがRAMに持つページ、OS全体のRAMを分けるところから始めましょう。
Node.jsが使えるなら、新しいフォルダーにmemory-demo.jsを保存し、node memory-demo.jsを実行します。大きなメモリを埋める実験は行いません。
const usage = process.memoryUsage();
console.log("V8 heap used:", usage.heapUsed);
console.log("process RSS:", usage.rss);
どちらもバイト数で出ますが、数値は環境・実行時点で変わります。heapUsedはV8のヒープの使用量、rssはプロセスの常駐メモリの範囲です。rssにはコードやスタック等も含まれ、この2つを「アプリが使ったRAM」として同じ意味では読めません。
数字の単位をそろえて読む
最初の例のusageから、次でバイトをMiBへ換算できます。新しいprocess.memoryUsage()を呼ぶのではなく、同じ測定結果を読み替える例です。
const toMiB = bytes => (bytes / (1024 * 1024)).toFixed(2);
console.log("V8 heap used (MiB):", toMiB(usage.heapUsed));
console.log("process RSS (MiB):", toMiB(usage.rss));
1 MiBは1,048,576バイトです。表示を読みやすくしても、heapUsedとRSSが測る範囲は変わりません。また、両方を足して総使用量にする数え方ではありません。どの値を、どの単位で見ているかを記録してから、同じ負荷での推移を比べます。
仮想アドレスとRAMの場所を対応させる
OSはプロセスごとの仮想アドレス空間を管理し、ページテーブルとCPUのMMUが物理メモリへの対応付けに関わります。同じ仮想アドレス値でも、別プロセスで同じデータを指すとは限りません。共有するページもあります。
ページは管理の単位です。4KBの構成はありますが、アーキテクチャや大きなページの設定で違います。TLBは変換のキャッシュで、ヒットしなければ必要なページテーブルをたどります。
ページフォルトとスワップを混同しない
ページフォルトは、CPUがそのままアクセスできずOSの処理が必要になる例外です。未割り当てのページの用意、書き込み時のコピー、ファイルやスワップからの読み込みなど、原因はさまざまです。不正なアクセスならエラーになる場合もあります。
スワップはメモリの一部を退避するための仕組みです。キャッシュの回収とスワップへの書き出しは同じ操作ではなく、すべてのページを退避できるわけでもありません。仮想メモリがあることと、スワップが有効なことは別です。
もう少し詳しく:不足の範囲と、数字の読み方
Linuxでは/proc/meminfoにMemFree、MemAvailable、Cachedなどがあります。MemAvailableはスワップせず新しいアプリに使える量の見積もりで、単なる未使用量とは違います。短い1回の測定だけでリークを決めず、同じ負荷での推移を見ます。
メモリ確保をどこまで認めるかはオーバーコミットの方針でも変わります。確保の成功は、あらゆる状況で後のアクセスを保証するものではありません。一方、「LinuxはいつもRAM+スワップ以上を無制限に許す」という説明も正しくありません。
OOMでは、OS全体なのかcgroup等の範囲なのか、ログ・使用量・設定した制限を確認します。oom_scoreには調整値なども反映され、単純な最大使用量のランキングではありません。言語側のヒープ上限で起きたエラーとも区別します。
覚え方と次の一歩
「メモリ管理」って出てきたら「アプリの作業場所を対応付け、配分・保護する仕組み」と思えばだいたいOK!
GCの仕組みでアプリ内の回収を、OSのプロセス管理で仕事の単位を確認できます。
参考資料
- Node.js:process.memoryUsage — V8のヒープ、RSSなどの測定範囲
- Linux kernel:Page Tables — MMU・TLB・ページサイズ・正常/不正なページフォルト
- Linux man-pages:proc_meminfo(5) — MemAvailableはスワップなしで使える量の見積もり
- Linux kernel:Overcommit Accounting — オーバーコミットの0/1/2の方針
- Linux man-pages:proc_pid_oom_score(5) — OOM対象選択と調整値を含むスコア