モデル評価 とは？

モデルの予測をデータと照らし合わせ、目的に合う指標で性能を測ることだよ。分類なら正解のラベルと比較する。数値を予測する回帰では、予測値と実測値の誤差などを使うんだ。

例えば100通中1通だけ迷惑メールなら、全部を普通のメールと判定しても99%正解になるよ。でも迷惑メールは全て見逃す。検出したメールのうち本当に迷惑メールである割合が適合率、本当の迷惑メールのうち検出できた割合が再現率だよ。

適合率と再現率の調和平均だよ。どちらか片方だけ高くてもF1は高くなりにくい。ただし、誤検出と見逃しのどちらが困るかは用途次第だから、1つの値だけで良いモデルと決めないようにしよう。

学習したデータだけでは、答えを覚えたモデルも良く見えてしまうからだよ。最終評価のテストデータを使って設定を何度も調整すると、そのデータの情報が漏れる。調整用の検証データと最終評価を分けて考えるんだ。

k分割交差検証は、k個に分けたデータの1つを評価用、残りを学習用としてk回繰り返す方式だよ。分割による結果の違いを調べられるが、データの偏りを全部なくすものではない。時系列などでは時間の順序に合う分割も必要だよ。