モデルサービング とは？

モデルを読み込み、入力を受けて推論し、結果を返す実行の仕組みが必要だよ。それをモデルサービングと呼ぶ。たとえばアプリから画像を渡し、学習済みの画像分類モデルが分類の結果を返すんだ。

推論と学習は別の処理だよ。サービングは、学習済みモデルを使って入力に答える段階。新しい入力が来ただけで自動的に学習するとは限らない。学習やモデルの更新は、別に計画して実施するんだ。

アプリがAPIで呼び出す形はあるけれど、公開が必須ではないよ。システム内や限定した利用者向けにも構成できる。誰が利用できるかや、扱う入力と結果を保護する方法も考えよう。

画面の操作に応答するオンライン推論と、蓄積したデータをまとめて処理するバッチ推論などがあるよ。すぐ結果が必要か、あとでまとめてよいかで選ぶ。オンライン処理の途中で複数の要求をまとめるバッチングとは、役割を分けて考えるんだ。

複数の要求をまとめると処理量を増やせる場合があるけれど、まとめるための待ち時間も生じ得るよ。モデルや機器、負荷による。応答時間と処理量、使う資源を測り、許容できる待ち時間の範囲で調整するんだ。