モデルモニタリング とは？

そう、まさに見張りだよ。AIモデルって学習した時は優秀でも、本番環境に出すと徐々に性能が落ちることがあるんだ。それを放置すると大変なことになるから、常に監視する仕組みが必要なんだよ

大きく分けて4つあるよ。1つ目は予測精度（正解率やAUCなど）、2つ目はデータ品質（欠損値や異常値）、3つ目はデータドリフト（入力データの分布変化）、4つ目はシステム性能（推論の応答速度やメモリ使用量）だね

まずはアラートで担当者に通知するんだ。そして原因を調査して、必要なら最新データで再学習する。進んだチームだと「精度がしきい値を下回ったら自動で再学習パイプラインを起動する」という仕組みを作っているよ

EvidentlyAIはオープンソースでデータドリフトの可視化が得意だし、Whylogsはデータプロファイリングに強いよ。クラウド系だとAmazon SageMaker Model MonitorやGoogle Vertex AI Model Monitoringなどがあるね。MLflowと組み合わせて使うことも多いよ

ユースケースによるけど、リアルタイム推論なら分単位、バッチ推論なら日次〜週次が多いね。重要なのは「何がどれくらいズレたらアクションを取るか」の基準を事前に決めておくことだよ。閾値なしに監視しても、ダッシュボードを眺めて終わりになっちゃうからね

そう。あとプロの現場では「シャドウモード」といって、新モデルと旧モデルを同時に動かして予測結果を比較するテクニックもあるよ。いきなり切り替えるのではなく、新モデルの方が本当に良いか確認してからデプロイするんだ。モニタリングは守りだけじゃなく攻めにも使えるんだよ