【くーべふろー】

Kubeflow とは?

公開:
💡 機械学習の工場ラインをKubernetesの上に丸ごと建てる
📌 このページのポイント
Kubeflow の構成 Kubernetes クラスター Kubeflow Pipelines DAGワークフロー Katib ハイパーパラメータ 自動チューニング KFServing モデル サービング Notebook Server JupyterHub連携 データ準備 学習・実験 評価・登録 本番デプロイ
Kubeflow の主要コンポーネントと MLライフサイクルのイメージ
ひよこ ひよこ
KubeflowってKubernetesがないと使えないの?
ペンギン先生 ペンギン先生
そうだよ。KubeflowはKubernetesの上に乗るプラットフォームで、学習ジョブやサービングをPodとして動かすんだ。GKE・EKS・AKSなどのマネージドKubernetesデプロイして使うのが一般的だね。
ひよこ ひよこ
パイプラインってどういうものなんだね!
ペンギン先生 ペンギン先生
データ前処理→学習→評価→登録という各ステップをコンテナ単位で定義して、DAG(有向非巡回グラフ)としてつなげるんだよ。同じパイプラインを何度でも再実行でき、実験の比較や再現が楽になるよ。
ひよこ ひよこ
MLflowとの違いは何なの?
ペンギン先生 ペンギン先生
MLflowは実験追跡・モデル管理に特化した軽量なツールで、どの環境でも動くよ。KubeflowはKubernetes前提だけどパイプライン実行からサービングまで一気通貫で管理できる。スケールするチームにはKubeflow、手軽に始めるならMLflowという選び方が多いね。
ひよこ ひよこ
Katibって何をしてくれるの?
ペンギン先生 ペンギン先生
ハイパーパラメータを自動チューニングするコンポーネントだよ。ベイズ最適化ランダムサーチなどのアルゴリズム学習率や層数を探索して、最良の組み合わせを見つけてくれるんだ。
ひよこ ひよこ
大企業じゃないと使えない感じがするんだけど…
ペンギン先生 ペンギン先生
確かにKubernetes自体のコストがあるから個人開発には重いね。でもGoogleやNTTなど大規模MLを運用するチームではスタンダードに近い存在だよ。最近はVertex AI PipelinesのようにKubeflowのコンセプトをマネージドサービスにしたものも増えているんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「Kubeflow」って出てきたら「Kubernetes上で動くMLのオールインワン基盤」と思えればだいたいOK!
📖 おまけ:英語の意味
「Kubeflow」 = Kubernetesフロー
💬 「Kube(Kubernetes)」と「flow(ワークフロー)」を組み合わせた名前で、Kubernetes上でMLの流れを管理するという意味だよ
← 用語集にもどる