異常検知 とは？

クレジットカードの不正利用検知が一番わかりやすいかな。普段は日本国内で数千円の買い物をしている人が、突然海外で数十万円の決済をしたら「異常」と判定してカードを止めるんだ。他にも工場の機械のセンサーデータがいつもと違うパターンを示したら、故障の予兆として検知するよ。

普通の分類問題だと「正常データ」と「異常データ」の両方を使って学習するんだけど、異常検知では異常データがほとんど手に入らないんだ。不正利用なんて全取引の0.1%もないからね。だから「正常とはどういうパターンか」を学習して、そこから大きく外れたものを異常と判定する方法が多いよ。

いくつか方法があるけど、統計的な手法では「平均値から大きく離れた値は異常」と判定する。機械学習ではオートエンコーダーというモデルが面白くて、正常データを圧縮して復元する訓練をするんだ。うまく復元できないデータは「学習したことがない＝異常」と判断するよ。

「何をもって異常とするかの線引き」が実は本質的に難しいんだ。閾値を厳しくすると本物の異常を見逃すし（偽陰性）、緩くするとニセモノのアラートが大量に出る（偽陽性）。特にセキュリティの分野では、アラートが多すぎると担当者が慣れてしまって本当の異常も見逃す「アラート疲れ」という問題が起きる。さらに厄介なのは、正常なパターン自体が時間とともに変化する「コンセプトドリフト」で、去年の正常が今年は異常、ということもある。結局、完璧な閾値は存在しなくて、ビジネスの文脈に応じて「見逃しと誤報のどちらが痛いか」を判断して調整し続けるしかないんだよ。