データリネージ とは？

たとえば売上レポートの数字が気になったとき、元の注文データと、途中の集計処理をたどれるよ。データがどこから来て、どんな処理で作られ、どこで使われているかというつながりなんだ。家系図のように上流と下流を見ると、調べる場所を見つけやすくなる。

数字がおかしいときは、レポートから上流の加工や元データをたどって調査する。元のテーブルや列を変える前には、下流の集計やレポートに影響しないかを見るよ。図の矢印はデータの流れなので、原因を調べる方向とは逆になる場合がある。関係が見えるだけで、原因が自動で確定するわけではないんだ。

ツールによっては、ある列がどの列から計算されたかという列単位のリネージも扱える。テーブルAからBを作る関係より、Bの売上金額がAの数量と単価から計算された、と分かるほうが細かいね。ただし、解析できる処理や列の追跡への対応はツールと設定によって異なるよ。

自動収集する方法もあるよ。たとえばdbtのrefはモデル間の依存関係を作り、依存グラフに使われる。OpenLineageは、処理とその実行、入力や出力のデータセットなどのメタデータを記録する共通の仕組みだよ。どちらも、あらゆる外部処理や列まで無条件に全部見えるものではないんだ。

ほかの管理も必要だよ。説明責任やデータの管理を助けるけれど、それだけで法令対応やアクセス制御が完了するわけではない。対象の処理から情報を集め、外部への出力や手作業の加工に抜けがないか確認しよう。実際の変換内容、記録の更新、関係者が読める説明も大切だね。