【オブザーバビリティパイプライン】
オブザーバビリティパイプライン とは？
最終更新:
💡 観測データを仕分けしてから届ける、物流センター
ログ・メトリクス・トレースなどのテレメトリデータを受け取り、加工・選別してから分析ツールなどの宛先へ送る中継の仕組み。データ量や送り先を一か所で調整できる。
📌 このページのポイント
- アプリやサーバーが出すテレメトリデータを受け取り、加工して宛先へ送る中継の層
- 不要なデータの除外、形式の変換、機密情報の削除、複数の宛先への振り分けなどを行う
- 送り先の変更を中継側の設定で吸収しやすく、特定のツールへの依存やデータ量を減らせる
- OSSのOpenTelemetry Collector、商用のDatadog Observability PipelinesやCribl Streamなどがある
ひよこ オブザーバビリティパイプラインって長い名前だけど、何をするもの？
ペンギン先生 システムから出るログ・メトリクス・トレースを受け取って、加工してから分析ツールや保存先に届ける中継役だよ。物流センターで荷物を仕分けてから配送するイメージだね
ひよこ 直接分析ツールに送ればいいんじゃないの？
ペンギン先生 小さな構成ならそれで十分なこともあるよ。OpenTelemetryの説明でも、開発やテストでは直接送る方法が手軽だとされているんだ。でも本番では、再送やまとめ送り、暗号化、機密データの除去を中継側に任せたいことが多いね
ひよこ おもしろい！どんなツールでパイプラインを作るの？
ペンギン先生 OSSならOpenTelemetry Collectorが代表的で、受信・加工・送信の部品を設定ファイルで組み合わせるよ。商用ではDatadogのObservability PipelinesやCribl Streamなどがあるね。製品によって扱えるデータの種類が違うから、ログだけかメトリクスやトレースもかは確認しよう
ひよこ パイプラインがないと何が困るの？
まとめ：ざっくりこれだけ覚えればOK！
「オブザーバビリティパイプライン」って出てきたら「ログやメトリクスを仕分けしてから分析ツールへ届ける中継役」と思えればだいたいOK！
📖 おまけ：英語の意味
「Observability Pipeline」 ＝ 可観測性パイプライン
💬 Observability（観測できること）と Pipeline（データが順に流れる処理の道筋）を組み合わせた言葉だよ