訓練データ とは？

量は大切だけど、質も同じくらい重要だよ。間違ったラベルが付いているデータが多かったり、特定のパターンに偏っていたりすると、学習結果もおかしくなる。「ゴミを入れたらゴミが出てくる（Garbage In, Garbage Out）」って言葉があるくらいなんだ。

役割が違うんだよ。訓練データは学習用、検証データは学習中のモデルの調整（ハイパーパラメータ選択）用、テストデータは完成したモデルの最終評価用だよ。テストデータは学習中に一切見せないのがルールで、それによって「本当に未知のデータに通用するか」を公平に評価できるんだ。

これが実際に問題になっていてね、モデルは訓練データの情報を「記憶」してしまうことがあるんだ。「メンバーシップ推論攻撃」という手法を使うと、特定のデータが訓練データに含まれていたかどうかを推測できる場合がある。それだけじゃなく、学習済みモデルに特定の入力を繰り返すことで元データを復元される危険もある。個人情報を訓練データに使う場合は差分プライバシーなどの技術で保護することが必要で、単純に「データを使って学習すれば終わり」ではないんだよ。

訓練データが偏っていると、AIの判断も偏るんだ。たとえば採用AIが過去の採用データ（男性が多い職種）で学習すると、女性の応募者を不利に評価してしまう。画像認識でも、明るい肌の写真ばかりで学習すると暗い肌の人の認識精度が下がる。データの多様性を確保することが公平なAIを作る第一歩なんだよ。

タスクによるけど、高品質なラベル付きデータは驚くほど高価だよ。医療画像の診断ラベルは1枚あたり数百〜数千円かかることもある。自動運転用の3Dアノテーションはさらに高額。だからこそ自己教師あり学習や合成データ、データ拡張（画像を回転・反転して水増しする）といった技術が研究されているんだ。最近はLLMを使って訓練データ自体を生成する手法も注目されているよ。