【いーてぃーえる】
ETL(イーティーエル) とは?
最終更新:
💡 バラバラのデータを「取って・整えて・届ける」データの配達人
データを抽出(Extract)・変換(Transform)・読み込み(Load)する一連の処理。異なるシステム間でデータを移動・統合する際の基本的なパイプライン。
📌 このページのポイント
- Extract(抽出):元のシステムからデータを取り出す
- Transform(変換):形式の統一や重複の除去などを行う
- Load(格納):加工したデータを目的のシステムに入れる
- ELTは、抽出・格納の後に変換する順序
ETLって何?アルファベット3文字だけど…
Extract(抽出)・Transform(変換)・Load(格納)の頭文字だよ。元のデータを取り出し、目的に合う形に整え、別のシステムに入れる。例えば複数店舗の売上を集め、日付の形式を統一して、分析用のデータウェアハウスに格納する流れだね。
そのまま移動させるだけじゃダメなの?
用途によるよ。システムごとに日付の表記や単位が違えば、変換の段階で合わせる。重複や欠損も、決めたルールに沿って扱うんだ。ただ加工すれば必ず正確になるわけではなく、元データの意味と変換ルールが合っているかも確認するよ。
ELTとは何が違うの?
ETLツールにはどんなものがあるの?
AWS Glueはデータの抽出・変換・格納やパイプラインの管理を扱うサービスの例だよ。一方、Apache Airflowは処理の順序や実行予定を管理する基盤。ETLを構成する作業をまとめられるけれど、関連ツールがすべて同じ役割を担うわけではないんだ。
まとめ:ざっくりこれだけ覚えればOK!
「ETL」って出てきたら「データを取り出して、整えて、別の場所に入れる処理」と思えればだいたいOK!
📖 おまけ:英語の意味
「Extract, Transform, Load」 = 抽出・変換・格納
💬 3つの処理の英語の頭文字だよ。先に格納してから変換する順序はELTと呼ぶんだ。