【ふるーえんとでぃー】
Fluentd とは?
💡 あらゆるログを「集めて変換して送る」統合パイプライン
📌 このページのポイント
- 多様な入力ソース(ファイル、HTTP、syslog等)からログを収集
- フィルタプラグインでデータを加工・変換
- 多様な出力先(Elasticsearch、S3、BigQuery等)に転送
- 500以上のプラグインで拡張可能
なぜログ収集ツールが必要なの?
マイクロサービスで10個のサービスが動いていると、ログが10箇所に分散する。障害調査で各サーバーにSSHしてログを見るのは非現実的。Fluentdが各サーバーからログを収集して、Elasticsearch等の集中管理基盤に送ることで、一箇所で全ログを検索・分析できるようになるんだよ
Fluent Bitとどう違うの?
Fluentdはフル機能のログコレクター(Ruby製、プラグイン豊富)。Fluent BitはC製の軽量版で、メモリ使用量が少ない(数MB)。Kubernetesでは各ノードにFluent Bitを置いてログを収集し、Fluentdのアグリゲーターに送る構成が一般的。エッジデバイスやコンテナにはFluent Bit、集約にはFluentdと使い分けるよ
おもしろい!設定はどう書くの?
大量ログでも大丈夫?
バッファリング機能が充実していて、出力先がダウンしてもバッファにログを溜めておける。ファイルバッファを使えばFluentd自体の再起動でもログを失わない。ただし本当に大量(1日10TB超)ならApache KafkaをFluentdとの間に挟んでバッファリングを強化するのがベストプラクティスだよ
まとめ:ざっくりこれだけ覚えればOK!
「Fluentd」って出てきたら「ログを集めて変換して転送するデータ収集ツール」と思えればだいたいOK!
📖 おまけ:英語の意味
「Fluentd」 = 流暢な(データ)デーモン
💬 Fluent(流暢な)+ d(daemon)。データが流暢に流れるイメージだよ