Apache Iceberg（アイスバーグ）とは何ですか？

大規模データレイク向けのオープンテーブルフォーマット。スキーマ進化やタイムトラベルクエリなど、データウェアハウス級の機能をデータレイク上で実現する。

Apache Iceberg（アイスバーグ）のポイントは？

データレイク上のファイル群をテーブルとして扱うためのオープン仕様。スキーマの変更やパーティションの変更を安全に行える「スキーマ進化」機能が強み。過去の任意の時点のデータを参照できる「タイムトラベル」機能を搭載。Spark、Flink、Trino、Prestoなど多くのエンジンから利用可能

【アパッチアイスバーグ】

💡 データレイクに「秩序」を与える氷山のような存在

📌 このページのポイント

Apache Icebergのアーキテクチャ

ひよこ

データレイクって、ファイルをどんどん放り込むだけじゃダメなの？

ペンギン先生

それだと「どのファイルが最新？」「カラム追加したらどうなる？」が分からなくなるんだ。Icebergはファイル群に"テーブルの秩序"を与えてくれるフォーマットだよ

ひよこ

スキーマ進化って何がうれしいの？

ペンギン先生

たとえばカラムを追加しても過去のデータはそのまま読めるし、カラムのリネームも安全にできる。普通のデータレイクだと全データの書き換えが必要になったりするんだ

ひよこ

タイムトラベルって名前がかっこいいね！

ペンギン先生

実際にかっこいい機能だよ。「昨日の時点のテーブル状態でクエリしたい」ができるんだ。間違ってデータを消しても巻き戻せるから安心だね

ひよこ

Delta LakeやHudiとの違いは？

ペンギン先生

どれもオープンテーブルフォーマットだけど、Icebergはエンジン非依存の設計が強みだよ。Sparkだけじゃなく、Trino、Flink、Prestoなど色々なエンジンから同じテーブルを読み書きできるんだ

ひよこ

実際にどこで使われてるの？

ペンギン先生

NetflixやApple、LinkedInなどの大規模データ基盤で採用されているよ。最近はSnowflakeやDatabricksもIceberg対応を強化していて、業界標準になりつつあるんだ

まとめ：ざっくりこれだけ覚えればOK！

「Apache Iceberg」って出てきたら「データレイクをテーブルとして賢く管理するオープン規格」と思えればだいたいOK！

📖 おまけ：英語の意味

「Apache Iceberg」＝アパッチ氷山

💬 氷山のように見えている部分はわずかで、水面下に膨大なメタデータ管理の仕組みが隠れているイメージだよ