次元削減 とは？

データの持つ特徴量の数のことだよ。例えば「身長」と「体重」の2つで人を表すなら2次元データ。でも実際のデータは数百〜数万の特徴量を持つことがあって、例えば画像だと各ピクセルが1つの次元になるから、100x100の画像は1万次元のデータなんだ。

次元が多すぎると「次元の呪い」と呼ばれる問題が起きるんだ。次元が増えるとデータがスカスカになって、機械学習モデルがうまく学習できなくなる。100次元の空間を十分にカバーするには天文学的な量のデータが必要になるからね。計算コストも次元が増えるほど膨大になるよ。

いい質問だね。実は多くの場合、たくさんの変数があっても本当に重要な情報は少数の変数で表現できることが多いんだ。例えばアンケートの100項目が実は「満足度」「コスパ」「デザイン」の3つの軸に集約できたりする。次元削減はそういう隠れた構造を見つけ出す作業でもあるよ。

「何次元まで減らすのが最適か」の判断が意外と難しいんだ。減らしすぎると大事な情報が失われるし、減らさなすぎると効果がない。PCAなら「累積寄与率95%」みたいな基準で決めることが多いけど、その95%という数字に絶対的な根拠はない。もっと根深い問題として、線形的な次元削減では捉えられない非線形な構造がデータに潜んでいることがあって、PCAでは情報を保てるように見えても実は大事なパターンが潰れてしまっていた、ということが起きる。データの本質的な構造（多様体）をどう見極めるかは、データサイエンティストの経験と勘に頼る部分がまだ大きいんだよ。