推論エンドポイント とは？

アプリから入力を受け取り、学習済みモデルの推論を利用できるようにするAPIの窓口だよ。HTTPで呼び出すものが一例。全てが同じ通信方式や、即座に結果を返す方式とは限らないんだ

ファイルで受け取るなら、使う側でモデルの実行環境を用意する。エンドポイントなら提供側が推論を実行するよ。ただ、アプリ側でも認証や入力形式を合わせる必要がある。誰でもアクセスできる公開URLとは限らず、私設のネットワークからだけ使う構成もあるんだ

自動スケーリングに対応するサービスもあるけれど、対応していることと設定済みであることは違うよ。例えばSageMaker AIでは対象を登録し、台数の範囲や拡張の方針を設定する。エンドポイントを作っただけで、あらゆる負荷に対応できるわけではないんだ

提供される機能によっては、旧版を残して一部の通信を新版へ移すカナリア方式が使えるよ。SageMaker AIでは監視する指標とアラームなどを設定する。段階的に切り替えても品質を保証するものではないので、出力やエラー、応答時間を確かめるんだ

対話的に応答が必要ならリアルタイム方式、大量の入力をまとめて処理し後から結果を受け取れるならバッチ方式を検討するよ。SageMaker AIのBatch Transformは常設のエンドポイントを必要としない。推論の全てが、リアルタイムのAPI呼び出しになるわけではないんだ