dbt入門 — 2件の注文をSQLで集計し、データを点検しよう

ひよこ

dbtって、何をしてくれる道具なの？

ペンギン先生

たとえば注文データを、売上の表へ整える作業を管理する道具だよ。今回は200円と400円の注文を用意し、合計600円をSQLで出してみよう。

ひよこ

データを集めてくれるの？

ペンギン先生

主に、取り込まれたデータの変換を管理するんだ。業務システムからデータを転送する仕組みは別に用意するよ。練習ではCSVをseedとして読み込もう。

ひよこ

モデルってAIのこと？

ペンギン先生

ここでは変換を定義するSQLなどのことだよ。SQLモデルは1ファイルにSELECTを書き、dbtがDBのビューやテーブルなどへ具体化するんだ。

ひよこ

表同士をどうつなぐの？

ペンギン先生

refで別のモデルやseedを参照するよ。DB上の名前を解決し、依存関係を作るので、先に必要なデータから処理できるんだ。

ひよこ

データの間違いも見つけられる？

ペンギン先生

注文番号が空でないか、重複していないかをデータテストで確かめよう。ただし、その検査を通れば業務上の意味まで全部正しいとは限らないよ。

ひよこ

本格的なクラウドがないと試せない？

ペンギン先生

今回はdbt-duckdbを使い、自分の端末のファイルDBで試すよ。実務では接続先に合うアダプターや、DBの権限・料金も必要だね。

ひよこ

テストが失敗したら重複を消せばいい？

ペンギン先生

まず失敗した行と原因を確認しよう。同じ注文が二重に取り込まれたのか、番号のルールが違うのかで対応も変わる。都合の悪い行を消して通すことが目的ではないんだ。

ひよこ

何を覚えておけばいいかな？

ペンギン先生

「dbt」って出てきたら「分析用のデータをSQLで整え、その手順と検査を管理する道具」と思えばだいたいOK！まず600円の集計と、二つのデータテストを確かめよう。

最初のゴール：注文2件を600円にまとめる

SQLのSELECTを少し知っている人向けです。クラウドの契約をせず、PythonとDuckDBでCSV → 集計 → データテストを試します。

dbtはデータ変換を管理する道具です。転送や可視化のすべてを一つで引き受けるわけではありません。今回はdbt CoreとコミュニティのDuckDBアダプターを使います。

練習フォルダーと接続先を作る

Pythonとpipが使える環境で、新しいdbt-shoppingフォルダーへ移動して仮想環境を作ります。

python -m venv .venv

WindowsのPowerShellでは、次を実行します。

.venv\Scripts\python -m pip install dbt-duckdb

macOS・Linuxでは.venv/bin/python -m pip install dbt-duckdbを使います。以降、Windowsは.venv\Scripts\dbt、macOS・Linuxは.venv/bin/dbtがコマンドです。別のDBへ移す場合はアダプターとSQLの方言を確認してください。

フォルダー直下にdbt_project.ymlを作ります。

name: shopping
version: '1.0.0'
config-version: 2
profile: shopping
model-paths: [models]
seed-paths: [seeds]

同じ場所にprofiles.ymlを作ります。今回は--profiles-dir .でこの接続設定を指定します。

shopping:
  target: dev
  outputs:
    dev:
      type: duckdb
      path: shopping.duckdb
      threads: 1

shopping.duckdbは自分の練習データを保存するファイルです。共有の本番DBには接続しません。

CSVとSQLを一つずつ置く

seedsフォルダーを作り、orders.csvを保存します。

order_id,amount
1,200
2,400

modelsフォルダーのtotal_sales.sqlに、集計を書くと次のようになります。

select sum(amount) as total
from {{ ref('orders') }}

ref('orders')はseedのデータを参照します。単なる文字列置換だけでなく、依存関係もdbtへ伝えます。ビュー・テーブルなどの作り方はマテリアライゼーションの設定で変わります。

models/schema.ymlに、注文番号の検査を足しましょう。

version: 2
seeds:
  - name: orders
    columns:
      - name: order_id
        data_tests:
          - not_null
          - unique

実行して結果を確かめる

Windowsでは練習フォルダーで次を実行します。

.venv\Scripts\dbt debug --profiles-dir .
.venv\Scripts\dbt build --profiles-dir .

macOS・Linuxではコマンドの先頭を.venv/bin/dbtに変えます。buildは選んだseed・モデル・テスト・snapshotなどを依存関係に沿って処理します。この例ではseed1件、モデル1件、テスト2件が成功すれば目印です。

集計の値は、同じフォルダーでPythonを使って確認できます。

import duckdb

with duckdb.connect('shopping.duckdb') as db:
    print(db.sql('select total from total_sales').fetchall())

結果は[(600,)]です。仮想環境のPythonで実行してください。接続できない場合はプロファイル名shoppingと現在のフォルダーを、モデルが見つからない場合はファイル名と配置を見直します。

重複を体験したければ、CSVの2行目の注文番号も1にしてもう一度buildします。uniqueが失敗するはずです。元の1・2へ戻して再実行しましょう。実務で失敗した行は、業務ルールと取り込み元を調べてから修正します。

次に学ぶなら

変換の道具に慣れたらDuckDB入門でファイルを読む練習へ。分析用の作業とデータを集める作業の違いはデータエンジニアとデータサイエンティストの比較でも整理できます。

参考資料

• dbt SQL models — SELECTとマテリアライゼーション
• dbt ref — 参照と依存関係
• dbt data tests — not_null・uniqueと検査の範囲
• dbt build — 依存関係に沿った処理
• dbt-duckdb README — インストールとローカルの接続設定