【アパッチアイスバーグ】
Apache Iceberg(アイスバーグ) とは?
最終更新:
💡 データレイクに「秩序」を与える氷山のような存在
大規模な分析データをテーブルとして管理するオープンなテーブルフォーマット。データファイルとメタデータを組み合わせ、列の変更や過去の状態の参照などを支える。
📌 このページのポイント
データレイクって、ファイルをどんどん放り込むだけじゃダメなの?
スキーマ進化って何がうれしいの?
列の追加や名前の変更などを、既存のデータファイルを書き換えずに行えるよ。Icebergは列に固有のIDを付けて追跡するので、名前や順番が変わっても別の列と取り違えないようにしているんだ。
パーティション進化とは別なの?
別の機能だよ。パーティションはデータの分け方で、たとえば日単位から時間単位へ変更できる。古いデータは以前の配置のまま、新しいデータは新しい仕様で書き込み、両方を管理できるんだ。
タイムトラベルなら、いつでも過去に戻れる?
どんなツールから使うの?
📖 おまけ:英語の意味
「Apache Iceberg」 = Icebergは英語で「氷山」
💬 Apache Software Foundationのプロジェクト名だよ。Icebergという単語は「氷山」を意味するんだ