【ふるーえんとでぃー】

Fluentd とは?

最終更新:
💡 ログを集め、必要な形に整えて、保存先へ送る

ログやイベントデータを収集・加工・転送するオープンソースのデータコレクター。プラグインで入力元や出力先を拡張できる、CNCFの卒業プロジェクト。

📌 このページのポイント
Fluentd:収集・加工・転送 ログファイル 入力元の例 HTTPで受信 アプリから送信 Fluentd 入力 → フィルター → 出力 対応する出力でバッファー・再試行 検索基盤 Elasticsearchなど 保存先 ファイル・S3など
入力・出力プラグインと振り分けの設定が必要です。検索や分析は転送先などが担当し、バッファーの容量や失敗時の復旧も別途設計します。
ひよこ ひよこ
なぜログ収集ツールが必要なの?
ペンギン先生 ペンギン先生
複数のサーバーにログが分かれていると、まとめて調べるのが大変だからだよ。Fluentdはログを集めて加工し、検索基盤や保存先へ送る。検索画面や分析の機能は、転送先など別の仕組みが担当するんだ。
ひよこ ひよこ
設定では何を決めるの?
ペンギン先生 ペンギン先生
主にsourceで入力、filterで加工、matchで出力の設定を書くよ。イベントにはタグが付き、タグに一致する設定で振り分ける。必要な入力・出力プラグインを選び、データ形式や接続先に合わせて設定するんだ。
ひよこ ひよこ
Fluent Bitは小さいFluentdなの?
ペンギン先生 ペンギン先生
関連する別のソフトウェアだよ。FluentdはCとRuby、Fluent BitはCで実装され、Fluent Bitは軽量性を重視している。どちらも収集や集約に使えるし、組み合わせることもできる。必要なプラグインや運用条件で選ぼう。
ひよこ ひよこ
今から入れるならtd-agentを使う?
ペンギン先生 ペンギン先生
td-agentは2023年12月にサポートが終了していて、後継はfluent-packageだよ。新しく導入するなら公式の配布ページで、対応OSやサポート中の系列を確認しよう。
ひよこ ひよこ
出力先が止まってもログを失わない?
ペンギン先生 ペンギン先生
バッファーにためて再試行できる出力を使えば、一時的な障害に備えられるよ。ファイルバッファーはディスクに保存できるけれど、容量不足やディスク障害、再試行の打ち切りなどまで自動で解決するわけではない。版や設定によって失敗したデータの扱いも異なるから、容量・監視・復旧方法を確認する必要があるんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「Fluentd」って出てきたら「ログを集めて加工し、保存先などへ転送するツール」と思えばだいたいOK!
📖 おまけ:英語の意味
「Fluentd」 = オープンソースのデータ収集ソフトウェアの名前
💬 公式にはデータの収集と利用をつなぐデータコレクターとして紹介されているよ。Fluentdは収集・加工・転送を担うソフトウェアの名前なんだ。

参考資料

← 用語集にもどる