AUC（曲線下面積） とは？

ROC曲線という分類モデルの性能グラフの下側の面積だよ。テストの点数みたいなもので、0から1の間の数値でモデルの実力を表すんだ。1に近いほど優秀で、0.5だとコイン投げと同じレベルということだね。

ROC曲線はしきい値を変えたときの性能変化をグラフにしたものなんだけど、グラフの形だけだと比較しにくいよね。面積にすれば「モデルAは0.92、モデルBは0.87」のように一つの数字で比べられるから便利なんだよ。

一般的な目安としては、0.9以上で非常に優秀、0.8〜0.9で良好、0.7〜0.8で実用レベルといわれているよ。ただし分野によって基準は違って、医療診断なら0.95以上を求められることもあるし、マーケティングなら0.75でも十分活用できることもあるんだ。

ROC曲線が対角線と一致する状態で、「ランダムに予測しているのと変わらない」ということだよ。実はAUCには確率的な解釈もあって、「陽性サンプルと陰性サンプルを1つずつランダムに取り出したとき、モデルが陽性の方に高いスコアをつける確率」がAUCの値なんだ。0.5なら五分五分ということだね。

万能ではないよ。データの陽性・陰性の比率が極端に偏っているとAUCが高くても実用的でないことがある。たとえば不正取引検知で陽性が0.01%しかない場合、AUCは良くても実際の適合率が低いことがあるんだ。そういうケースではPR-AUC（適合率-再現率曲線の面積）も一緒に確認するのがベストプラクティスだよ。

クラスのバランスが取れているならROC-AUCで十分だよ。不均衡データの場合はPR-AUCの方が実態に合った評価になることが多いね。論文やKaggleのコンペでは両方報告するのが丁寧とされているし、実務でも目的に合った指標を選ぶのが大事だよ。