パイプ＆フィルタ とは？

Unixのパイプが典型例だよ。`ls | grep .txt | wc -l` みたいにコマンドをつなぐやつだね。これをソフトウェア設計全般に広げたアーキテクチャパターンがパイプ＆フィルタなんだ。

データを受け取って変換して出力するコンポーネントのことだよ。「テキストを小文字に変換する」「JSONをパースする」「特定の行を抽出する」みたいな単一の処理に責任を持つんだ。

各フィルタが独立しているから、単体でテストできるし、別のパイプラインに再利用もできるんだよ。並列に動かすのも簡単だし、新しいフィルタを差し込んだり入れ替えたりも自由なんだ。

ETLの「Extract（抽出）→ Transform（変換）→ Load（ロード）」はまさにフィルタとパイプの構成だよ。データベースからデータを取り出すフィルタ、クレンジングするフィルタ、目的地に書き込むフィルタという流れなんだ。

フィルタ間でコンテキストを共有しにくいのが課題だよ。前のフィルタの状態を参照したい場合に設計が複雑になることがあるんだ。それと、フィルタをまたいだエラーハンドリングも工夫が必要だよ。