【そんしつかんすう】

損失関数 とは?

最終更新:
💡 予測の誤りを、決めた計算方法で数値にする
📌 このページのポイント
計算方法が違えば、損失も変わる 予測7.2正解10損失関数で計算7.2と10の例2.8絶対誤差7.84二乗誤差MSEは各要素の二乗誤差を平均する
この1件の仮例なら、差の絶対値は2.8、二乗誤差とMSEは7.84です。電卓は計算方法の比喩で、異なる損失の数値だけを比べてモデルの優劣を決めることはできません。
ひよこ ひよこ
損失って、予測と正解の差そのもの?
ペンギン先生 ペンギン先生
計算方法によるよ。予測7.2、正解10なら差の絶対値は2.8。この1件の二乗誤差は2.8の二乗で7.84になる。同じ予測でも、絶対誤差を使うか二乗誤差を使うかで点数が変わるんだ。
ひよこ ひよこ
MSEや交差エントロピーは何を計算する?
ペンギン先生 ペンギン先生
MSEは平均二乗誤差で、各要素の誤差の二乗を平均する。回帰で使う例だよ。分類の交差エントロピーでは、正解クラスに与える確率が小さいほど損失が大きくなる。ただしAPIの入力は確認しよう。PyTorchのCrossEntropyLossは、予測側に確率へ変換する前のlogitsを受け取るんだ。
ひよこ ひよこ
訓練の損失が0なら完璧?
ペンギン先生 ペンギン先生
学習に使ったデータでの値だけでは、未知のデータに対応できるかは分からないよ。0になったことだけで過学習とも断定できない。設定やモデルを選ぶ検証用データと、最後の評価に使うテスト用データを区別し、テスト結果を見ながら繰り返し調整しないようにしよう。
ひよこ ひよこ
クラスによって間違いの扱いを変えられる?
ペンギン先生 ペンギン先生
標準の関数にも調整の仕組みがあるよ。例えばPyTorchのCrossEntropyLossは、クラスごとの係数を指定できる。必要なら独自の式も作れるけれど、まず何を大きく罰したいかを明確にしよう。クラスごとの係数だけで、全ての間違いの組み合わせの費用を自由に表せるわけではないんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「損失関数」って出てきたら「予測の誤りを、決めた計算方法で数値にする」と思えばだいたいOK!
📖 おまけ:英語の意味
「Loss Function」 = 損失を計算する関数
💬 lossは損失。コスト関数や目的関数と同じ意味で使う資料もあるけれど、データ全体での集計や追加の項まで含める場合もある。式が何を計算しているか確認しよう。

参考資料

← 用語集にもどる