【えむえるぱいぷらいん】
MLパイプライン とは？
💡 機械学習の「ベルトコンベア」で品質と効率を両立
📌 このページのポイント
- データ取得から本番環境へのデプロイまでの工程を一連の流れとして構築する
- 各ステップが自動化されているため、再現性が高く人的ミスが減る
- Kubeflow、MLflow、Apache Airflowなどのツールで構築することが多い
- MLOpsの基盤として、継続的な学習と改善を支える仕組み
ひよこ MLパイプラインって何のために作るの？
ペンギン先生 ひよこ 具体的にはどんなステップがあるの？
ペンギン先生 典型的なのはこんな流れだよ。「データ収集」→「データクレンジング（欠損値処理など）」→「特徴量エンジニアリング」→「モデル学習」→「モデル評価（精度チェック）」→「モデル登録」→「デプロイ」。各ステップをコードで定義して、前のステップが終わったら自動で次が始まるようにするんだ。
ひよこ パイプラインがないとどうなるの？
ペンギン先生 Jupyterノートブックでポチポチ実行して「あれ、このセルもう実行したっけ？」とか「前回どのパラメータで学習したっけ？」となりがちなんだ。パイプラインがあれば全工程が記録されるから、1ヶ月前のモデルと同じ条件で再現実行もできる。チーム開発では特に重要だよ。
ひよこ MLパイプラインのツールってどんなものがあるの？
ペンギン先生 代表的なのはApache Airflow（汎用ワークフロー管理）、Kubeflow Pipelines（Kubernetes上で動く）、AWS SageMaker Pipelines、GCP Vertex AI Pipelinesなどだよ。最近はscikit-learnのPipelineクラスのように、コード数行でシンプルなパイプラインを作れるものもあるよ。
ひよこ Feature Storeって聞いたことがあるんだけど、パイプラインと関係あるの？
ペンギン先生 大いに関係があるよ。Feature Storeは特徴量（Feature）を一元管理する仕組みで、パイプラインの「特徴量エンジニアリング」の部分を効率化するものなんだ。一度作った特徴量を再利用できるから、チーム内で「同じ前処理を何度もやる」無駄がなくなる。Feast、TectonといったオープンソースのFeature Storeが注目されているよ。
📖 おまけ：英語の意味
「ML Pipeline」 ＝ 機械学習のパイプライン
💬 Pipeline（パイプライン）は石油の輸送パイプのように、データを流れ作業で処理していくイメージからきているよ