Parquet（パーケット） とは？

一番大きな違いは、データの並べ方だよ。CSVは「行ごと」にデータを保存するけど、Parquetは「列ごと」に保存するんだ。たとえば100万人分のデータから「年齢」だけ集計したいとき、CSVだと全行を読み込む必要があるけど、Parquetなら年齢の列だけ読めば済むんだよ

そのとおり。しかも列単位だと同じ型のデータが連続するから、圧縮もめちゃくちゃ効率がいいんだ。たとえば「性別」の列なら「男・女・男・男…」のように似た値が並ぶから、CSVの10分の1以下のサイズになることもあるよ

分析には最強なんだけど、1行ずつデータを追加するような処理には向いていないんだ。列ごとにまとめて書き込む必要があるから、リアルタイムで1件ずつ書き込むようなデータベース用途にはCSVやJSONのほうが扱いやすいこともあるよ

データレイクやデータウェアハウスでの分析がメインだね。Apache SparkやAWS Athena、Google BigQueryなんかがParquetをネイティブサポートしていて、S3にParquetファイルを置いておけばSQLで直接クエリできるんだよ

実はかなり賢い構造になっていて、「行グループ」という単位でデータを分割して、その中を列ごとに格納しているんだ。さらにファイルの末尾にメタデータ（各列の最小値・最大値など）が入っていて、クエリ時にそのメタデータを見て「この行グループは読む必要なし」と判断できる。これを述語プッシュダウンと呼ぶんだよ

そうなんだ。しかもParquetはスキーマ情報もファイル内に埋め込まれているから、CSVのように「この列は数値？文字列？」と悩む必要もない。Apache Arrowと組み合わせるとメモリ上でもゼロコピーで読み込めて、まさにビッグデータ分析のデファクトスタンダードと言える存在だね