【あーるおーしーきょくせん】
ROC曲線 とは？
最終更新:
💡 見逃しと誤検知のバランスを、曲線で見る
二値分類の判定基準を変えたとき、陰性を陽性と誤判定する割合と、陽性を正しく見つける割合の関係を示すグラフ。横軸が偽陽性率、縦軸が真陽性率。ROC-AUCで全体を要約できるが、運用に使う判定基準や誤判定の件数も確認する。
📌 このページのポイント
- 横軸は陰性の中の誤検知率、縦軸は陽性の中の検出率
- 判定に使うスコアのしきい値を変え、複数の点を結ぶ
- 左上は誤検知が少なく検出率が高い状態
- AUCだけで決めず、使うしきい値やPR曲線も確認する
ひよこ ROC曲線は、何を比べるの？
ペンギン先生 迷惑メールか普通のメールか、のような二値分類で使うよ。ここでは迷惑メールを陽性と呼ぼう。横軸の偽陽性率は、普通のメールのうち誤って迷惑とした割合。縦軸の真陽性率は、本当の迷惑メールのうち正しく見つけた割合だね。どちらも分母を確認するのが大切なんだ。
ひよこ しきい値を動かすって、どういうこと？
ペンギン先生 迷惑度のスコアが基準以上なら迷惑メール、と決める例だよ。基準を下げると、迷惑メールを拾いやすくなる一方、普通のメールも迷惑と判定しやすくなる。それぞれの基準で求めた率を結ぶんだ。スコアは確率とは限らず、しきい値も必ず0から1の範囲というわけではないよ。
ひよこ 左上がよいって、なぜ？
ペンギン先生 横軸の誤検知率が低く、縦軸の検出率が高いからだよ。左上の角は、この評価データで誤検知なく陽性を全部見つける状態。対角線は、正解と無関係な判定の平均的な基準になる。実際のデータでは点を結んだ折れ線になることもあるんだ。
ひよこ AUCが大きいモデルなら、必ず採用してよい？
ペンギン先生 ROC曲線の下の面積がROC-AUCで、全体の傾向を一つの数値で比べられるよ。でも曲線が交差する場合や、許せる誤検知率が限られる場合は、その範囲も見よう。同じ評価条件で比べ、実際に使うしきい値で見逃し・誤検知が何件になるかも確認するんだ。
ひよこ 不正のように、陽性が少ない場合は？
まとめ：ざっくりこれだけ覚えればOK！
「ROC曲線」って出てきたら「判定基準ごとの見逃しと誤検知のバランスを表すグラフ」と思えばだいたいOK！
📖 おまけ：英語の意味
「Receiver Operating Characteristic Curve」 ＝ 受信者動作特性曲線
💬 ROCは英語名の頭文字。判定の基準を変えたときの、検出と誤検知の関係を表すよ。