回帰分析 とは？

19世紀の科学者ゴルトンが「背の高い親の子どもは、親ほど背が高くない傾向がある（平均に回帰する）」と発見したことからきてるんだ。今では「数値を予測する」という意味で使われていて、語源と少し違う使われ方をしているよ。

入力と出力の関係が直線（一次関数）で表せるということだよ。「部屋の広さが1平米増えるごとに家賃が1万円上がる」みたいな一定の関係ね。曲線になる場合はポリノミアル（多項式）回帰を使うよ。

主にMSE（平均二乗誤差）やRMSE（平均二乗誤差の平方根）を使うよ。「予測値と実際の値の差を二乗して平均する」んだけど、二乗するのは大きいエラーをより重く扱うためだよ。

これは罠で、変数を増やすだけでは精度は上がらないんだ。むしろ「呪いの次元」という問題があって、特徴量（変数）が増えると必要なデータ量が指数的に増える。さらに多重共線性という問題もあって、互いに相関が強い変数を一緒に使うと係数の推定が不安定になる。変数を増やすと訓練データへの当てはまりは良くなるのに汎化性能は下がることがあって、「特徴量選択」や「正則化」という技術が必要になるんだよ。