Prometheus とは？

Push型は監視対象のほうからデータを送る方式、Pull型は監視する側が取りに行く方式だよ。PrometheusはPull型で、アプリやエクスポーターが公開した/metricsなどのHTTPエンドポイントを定期的に取得するんだ。取得に失敗すると自動で作られる「up」というメトリクスが0になるから、相手が応答しないことにも気づけるよ

取りこぼしやすいね。だから、短時間で終わるバッチ処理などはPushgatewayに結果を送っておいて、Prometheusがそこから取得する方法が用意されているんだ

Prometheusはメトリクスを集めて保存し、PromQLで集計する役だよ。GrafanaはPrometheusなどにクエリを送って、グラフやダッシュボードとして見せるツールなんだ。組み合わせて使われることが多いね

Prometheusのルールに「CPU使用率が5分間80%を超えたら」のような条件をPromQLで書くよ。条件に合うとAlertmanagerに送られて、重複をまとめたりグループ化したりしてから、メールやPagerDutyなどへ通知するんだ。鳴りすぎると見逃しの原因になるから、条件は少しずつ調整しようね

標準の保存は1台のディスクの中だけで、複製されないから、ディスクやサーバーが壊れると失われる可能性があるよ。既定では15日分を残すんだ。長く安全に残したいときは、ThanosやGrafana Mimirのような外部の保存先と組み合わせるよ。なお、課金のように100%の正確さが必要な集計には向かないと公式も書いているね