推論エンドポイント とは？

学習済みのAIモデルをAPIとして外部に公開する窓口だよ。アプリがHTTPリクエストを送ると、モデルが推論して結果を返してくれるんだ。

モデルをファイルで配布すると使う側で実行環境を用意しないといけないんだよ。エンドポイントなら「URLにリクエストを投げるだけ」で使えるから、アプリ開発者がAIの内部を意識しなくて済むんだ。

アクセスが急増したとき自動でサーバーを増やして対応することだよ。AWS SageMakerやGoogle Vertex AIのマネージドサービスを使えば、この自動スケーリングが最初から組み込まれているんだ。

すごく大事だよ。モデルを新バージョンに切り替えるとき、古いバージョンを残しながらトラフィックを少しずつ移す「カナリアリリース」ができるんだ。いきなり全切り替えして性能が下がるリスクを避けられるね。

モデルをGPUの近くに配置する、量子化で軽量化する、バッチ処理でリクエストをまとめるなどの方法があるよ。用途によってリアルタイム推論かバッチ推論かを選ぶことも大事なんだ。