【モデルサービング】
モデルサービング とは？
最終更新:
💡 焼きたてのパンを店頭に並べて売る工程
📌 このページのポイント
- 学習（トレーニング）が終わったモデルをAPIとして公開し、推論リクエストを受け付ける
- レイテンシ（応答速度）とスループット（処理量）のバランスが運用の鍵
- TensorFlow Serving、Triton Inference Server、vLLMなど専用ツールが多数ある
- リクエストのバッチ処理やモデルの量子化でコストとパフォーマンスを最適化する
ひよこ モデルの学習が終わったらそのまま使えるんじゃないの？
ペンギン先生 学習環境と本番環境は全然違うんだよ。本番では何千人ものユーザーから同時にリクエストが来るから、安定して素早く返せる仕組みが必要なんだ
ひよこ 具体的にはどんなツールを使うの？
ペンギン先生 TensorFlow ServingやNVIDIAのTriton Inference Serverが定番だね。最近はLLM向けにvLLMやTGI（Text Generation Inference）も人気だよ
ひよこ レイテンシって気にしないとダメ？
ひよこ バッチ処理って学習のときだけじゃないの？
ペンギン先生 ひよこ サービングって裏側でかなり工夫が詰まっているんだね！
まとめ：ざっくりこれだけ覚えればOK！
「モデルサービング」って出てきたら「学習済みAIを本番で使えるように配信する仕組み」と思えればだいたいOK！
📖 おまけ：英語の意味
「Model Serving」 ＝ モデルの提供・配膳
💬 「Serving」はレストランで料理を「サーブする」のと同じ言葉だよ。モデルという料理をユーザーのテーブルまで届けるイメージだね