AIオブザーバビリティ とは？

普通のオブザーバビリティは「サーバーのCPUが何%か」「エラーが何件か」を監視する。AIオブザーバビリティはそれに加えて「LLMが何を入力されて何を出力したか」「ハルシネーション（でたらめ生成）が起きていないか」を監視するんだ。

主に「トレース」「メトリクス」「評価」の三つだよ。トレースはリクエストからレスポンスまでの流れ全体を記録する。メトリクスはトークン使用量・レイテンシ・コスト。評価はハルシネーション率や回答品質のスコアリングだね。

AIシステムは通常のソフトウェアと違って「なぜこの出力になったか」がブラックボックスだからだよ。本番環境でハルシネーションが増えていても気づけない。監視してないと気づいたときには手遅れ、ということが起きるんだ。

LangSmith（LangChain製）、Langfuse（オープンソース）、Arize AIなどが有名だよ。最近はOpenTelemetry標準でAIトレースを記録する動きも出てきていて、普通の監視ツールとの統合が進んでいるんだ。

まさにそれ！AIオブザーバビリティは「作って終わり」ではなく「動かしながら品質を保つ」ための基盤。AIシステムのSREとも言える分野で、今すごく注目されているよ。