CDC（変更データキャプチャ） とは？

CDCはChange Data Captureの略で、データベースに入った変更を検知して、別のシステムにリアルタイムで届ける技術だよ。たとえば本番DBに新しい注文データが入ったら、その変更だけを分析用DBに即座に反映する、っていう使い方をするんだ。

データが少ないうちはそれでもいいんだけど、テーブルに何億レコードもあると毎回全件コピーするのは時間がかかりすぎるし、DBへの負荷も大きいんだ。CDCなら「前回から変わった分だけ」を送るから、高速で負荷も少ないんだよ。

主に3つの方法があるよ。1つ目はトランザクションログを読む方法。DBは内部的にすべての変更をログに記録してるから、それを解析する。2つ目はトリガーを使って変更時にイベントを発火させる方法。3つ目はタイムスタンプを比較する方法。実務ではログベースが最も信頼性が高くて主流だね。

一番多いのはデータベース移行だね。OracleからMySQLに移行するときとか、移行中も本番は動き続けるから、CDCで差分をリアルタイム同期しておいて、最後に一瞬で切り替えるんだ。あとはデータウェアハウスへのリアルタイム連携や、マイクロサービス間のデータ同期にも使われるよ。

ETLは「データを抽出して、変換して、読み込む」バッチ処理がメインなんだ。たとえば「毎晩3時に1日分のデータをまとめて転送」みたいな感じ。CDCはリアルタイムに変更を捉えるから、データの鮮度が全然違う。最近は従来のETLにCDCを組み合わせるハイブリッド構成も増えてるよ。

AWSのDMS（Database Migration Service）が有名で、CDCレプリケーション機能が組み込まれてるんだ。オープンソースだとDebeziumが人気で、Kafkaと組み合わせてリアルタイムデータパイプラインを構築できる。商用だとOracle GoldenGateなんかもあるよ。

一番気をつけるべきはスキーマ変更への対応だね。テーブルにカラムが追加されたり型が変わったりすると、CDC側の設定も合わせて変更しないと同期が壊れるんだ。あとトランザクションログを長時間保持する設定が必要で、ディスク容量の管理も重要だよ。

間違いなく増えるよ。リアルタイムデータの需要はどんどん高まってるし、マイクロサービス化が進むとサービス間のデータ同期にCDCが不可欠になる。「データは鮮度が命」っていう時代には、バッチで1日遅れの集計じゃ話にならないことが増えてるからね。データエンジニアにとっては必須の知識になりつつあるよ。