データレイク とは？

データベースはあらかじめ決まった形（テーブルの列など）にデータを整えて保存するんだ。データレイクは「ログファイルも・画像も・JSONも・CSVも、とりあえずそのまま全部入れておく」場所だよ。形を決めずに大量のデータをためておける倉庫みたいなものだね。

データウェアハウスは分析用に構造化・整理されたデータを格納するもので、BIツールなどで高速にクエリできるよ。データレイクはより生の状態で保存して柔軟性が高いけど、そのままでは分析しにくい場合が多い。最近は両方の特性を持つ「データレイクハウス」という概念も出てきているんだ。

落とし穴があってね、整理せずにデータを入れ続けると「データスワンプ（泥沼）」になってしまうことがあるんだ。どこに何があるか分からなくて、誰も使えない巨大なゴミ箱になる。データカタログで何が入っているかを管理することが大切だよ。

「ブロンズ・シルバー・ゴールド」や「ランディングゾーン・クリーンゾーン」といった階層設計が一般的だよ。生データを入れる層、クリーニングした層、分析用に集計した層、と段階を分けるんだ。さらにデータの更新・削除を扱いやすくするDelta LakeやApache Icebergというオープンな「テーブルフォーマット」が普及していて、データレイクに「トランザクション性」を持たせる方向に進化している。この辺りを知らないと「データレイクに古いデータが残り続けて修正できない」問題に直面することがあるよ。