【いヌえるおぃヌ】

ELT ずは

最終曎新:
💡 たず党郚攟り蟌んで、あずから敎理クラりド時代のデヌタパむプラむン
📌 このペヌゞのポむント
ETL vs ELT パむプラむンの違い ETL埓来型 Extract デヌタ抜出 → Transform 䞭間サヌバで倉換 → Load DWHぞ栌玍 敎圢枈みデヌタ ELTモダン型 Extract デヌタ抜出 → Load 生デヌタを栌玍 → クラりドDWH内 Transform dbt / SQL Fivetran BigQuery / Snowflake dbt ELT: 生デヌタが残る → あずから自由に再倉換できる
ETLは倉換しおから栌玍、ELTは栌玍しおからDWH内で倉換する
ひよこ ひよこ
ETLは聞いたこずあるけど、ELTっお䜕が違うの
ペンギン先生 ペンギン先生
ETLは「抜出→倉換→読み蟌み」の順番で、デヌタを敎圢しおからDBに入れるんだ。ELTは「抜出→読み蟌み→倉換」で、生デヌタをたずDWHデヌタりェアハりスにドヌンず入れお、倉換は埌からやるよ
ひよこ ひよこ
順番を倉えるだけでそんなに違うの
ペンギン先生 ペンギン先生
倧違いだよETLだず倉換甚の䞭間サヌバヌが必芁で、デヌタ量が増えるずボトルネックになるんだ。ELTならBigQueryやSnowflakeみたいなクラりドDWHのパワヌで倉換するから、ペタバむト玚のデヌタでもスケヌルするよ
ひよこ ひよこ
生デヌタをそのたた入れお倧䞈倫なの
ペンギン先生 ペンギン先生
むしろそれがメリットなんだ。生デヌタが残っおるから「やっぱり別の切り口で分析したい」っおなったずき、元デヌタから再倉換できる。ETLだず倉換枈みデヌタしかないから、やり盎しが倧倉なんだよ
ひよこ ひよこ
dbtっおよく聞くけど、ELTず関係あるの
ペンギン先生 ペンギン先生
dbtdata build toolはたさにELTの「T」を担圓するツヌルだよ。SQLでデヌタの倉換ロゞックを曞いお、テストやドキュメント生成たで自動化できる。デヌタ゚ンゞニアの間では今やデファクトスタンダヌドになっおるんだ
ひよこ ひよこ
じゃあもうETLは䜿わないの
ペンギン先生 ペンギン先生
いやいや、ただ珟圹だよ。機密デヌタを倉換しおからロヌドしたい堎合や、レガシヌシステムずの連携ではETLが適しおるこずもある。でもクラりドネむティブな新芏プロゞェクトではELTが䞻流になり぀぀あるね。Fivetran で E ず L をやっお、dbt で T をやる、ずいうパタヌンがモダンデヌタスタックの定番だよ
ペンギン
たずめざっくりこれだけ芚えればOK
ELTっお出おきたら「デヌタをたずDWHに入れお、倉換はあずからやるパむプラむン」ず思えればだいたいOK
📖 おたけ英語の意味
「Extract, Load, Transform」  抜出・読み蟌み・倉換
💬 ETLのT倉換ずL読み蟌みの順番をひっくり返しただけの名前だよ。クラりドDWHが匷力になっお「先に入れちゃえばいいじゃん」ずいう発想が生たれたんだ
← 甚語集にもどる