Parquet（パーケット） とは？

CSVは行ごとのテキスト、Parquetは行グループの中を列ごとのまとまりにして保存する形式だよ。例えば売上の表から金額だけ集計するなら、対応する読み取りツールは他の列のデータを読まずに処理できる。実際には列を探すためのメタデータなども読むんだ。

読む量を減らせるのが利点だよ。同じ型の値をまとめ、繰り返しに合った符号化や圧縮も選べる。ただし何倍速い、何分の一の容量になるという固定の効果はないので、実際のデータと処理で比べるんだ。

大量のデータを集計する用途に合いやすいけれど、ファイル形式そのものがデータベースの更新機能を持つわけではないよ。行グループやページとして書き込む構造なので、1件ずつ追加・変更するサービスでは、データベースや上位の仕組みも含めて選ぶ必要があるんだ。

データレイクなどの分析で使われるよ。例えばAthenaは、Amazon S3にあるParquetをクエリする際、必要な列や条件に合うブロックを読み取れる。形式だけ選べば自動で使えるのではなく、対応ツールのテーブルやスキーマなどの設定も必要だよ。

行グループ、その中の列チャンク、さらにページという構造だよ。末尾のメタデータを読んで列の場所を調べる。最小値・最大値などの統計があれば、条件に合わない範囲を読み飛ばせることもある。ただし統計の有無や活用は書き手・読み手によるんだ。

ファイルにはスキーマがあるけれど、読み取りツールごとに対応する型や機能を確認する必要があるよ。Apache ArrowにもParquetを読み書きする機能がある。ただしArrowとParquetの型は一対一に対応するとは限らず、圧縮されたファイルをそのまま万能なゼロコピーで扱えるとは考えないでね。