dbt とは？

中心になるのは、ELTのT、つまり取り込んだ後のデータ変換だよ。データ基盤上で、分析などに使うデータへ加工する。抽出や取り込みの道具と組み合わせて使うもので、dbtだけを置けば取り込みから全部完成するという意味ではないんだ。

SQLモデルはSELECT文で変換内容を書き、設定に応じてテーブルやビューなどとして作るよ。接続先やモデルの設定を用意して実行する必要がある。ref()でモデルを参照すると、その関係から実行の順序を組み立てられる。Pythonモデルもあるけれど、使えるデータ基盤やアダプターを確認しよう。

値がNULLでないか、重複していないか、参照する値が別のモデルにあるか、などを調べるデータテストがあるよ。YAMLなどで検査を定義し、dbt testで実行する。定義を書いた瞬間に検査が走るわけではないし、検査していない業務上の誤りまで全部防げるわけでもないんだ。

モデルや列の説明と、モデル間の関係を整理できるよ。ローカルではdbt docs generateでサイトを生成し、dbt docs serveで表示する。dbt v2の公式資料では、ホスト型のdbt platformで見る場合はCatalogを使うと説明されている。実行系や使う場所による違いも確認しよう。

以前のCloudとCoreだけで、今の利用形態すべてを説明するのは難しいね。現行資料はローカルのCLIと、開発やジョブの実行を支えるdbt platformを案内し、実行系もv1とv2に分けているよ。対応するデータ基盤や機能、運用方法を確認して選ぶ。