【ばいあすばりあんすとれーどおふ】
バイアス・バリアンストレードオフ とは？
最終更新:
💡 予測の平均的なずれと、学習データによるばらつき
学習データを変えてモデルを作ったときの、予測の平均的なずれ（バイアス）と予測のばらつき（バリアンス）の関係。モデルを複雑にすると偏りが減り、ばらつきが増える場合があるが、常に一方が増減する法則ではない。
📌 このページのポイント
- バイアスは、学習データを変えた予測の平均と、予測したい真の関係とのずれ
- バリアンスは、学習データの違いで予測がどれだけ変わるか
- 二乗誤差はバイアスの二乗・バリアンス・取り除けないノイズに分解して考えられる
- 両者を同じ大きさにするのではなく、検証データで汎化性能を確かめる
ひよこ バイアスとバリアンスって具体的に何？
ペンギン先生 同じ入力に対して、異なる学習データで作ったモデルがそれぞれ予測する場面を考えよう。的の中心を予測したい真の値、点を各モデルの予測に例えると、点の平均が中心から離れるほどバイアスが大きい。平均の周りに点が散るほどバリアンスが大きいんだ。
ひよこ なんでトレードオフなの？
ペンギン先生 ひよこ 2つを小さくすれば誤差はゼロになる？
ペンギン先生 観測にノイズがあれば、予測だけでは取り除けない誤差も残るよ。回帰の二乗誤差を平均して考えると、バイアスの二乗、バリアンス、ノイズの3つに分けられる。すべての損失関数で同じ式になるわけではないんだ。
ひよこ ちょうどいいモデルはどうやって見つけるの？
ペンギン先生 ひよこ モデルを大きくすると、いつか悪くなるの？
ペンギン先生 必ずそうなるとは限らないよ。モデルの容量を増やしたとき、誤差が一度増えてから再び減る「二重降下」が、複数のモデルやデータで研究されている。大きければ常によいという保証ではなく、単純なU字型だけでは説明できない場合があるということなんだ。
まとめ：ざっくりこれだけ覚えればOK！
「バイアス・バリアンストレードオフ」って出てきたら「予測の平均的なずれと、学習データによるばらつきの関係」と思えばだいたいOK！
📖 おまけ：英語の意味
「Bias-Variance Tradeoff」 ＝ 偏り・分散のトレードオフ
💬 Biasは偏り、Varianceは分散、Tradeoffは両立しにくい関係のこと。予測のずれを減らす工夫が、学習データへの敏感さを増す場合があるという考え方だよ。