【データセット】
データセット とは？
最終更新:
💡 AIにとっての「教科書」と「問題集」のセット
分析などの目的でまとめたデータの集まり。表、画像、文章、音声などがあり、AIの学習や評価にも使われる。
📌 このページのポイント
ひよこ データセットってただのデータの集まりでしょ？何がそんなに大事なの？
ペンギン先生 ひよこ 訓練用とかテスト用とか分けるのはなんで？
ペンギン先生 学校でいうと、訓練用は「教科書」、検証用は「練習問題」、テスト用は「最後の試験」にたとえられるよ。学習や設定選びに使っていないデータで、どれくらいできるかを評価するためなんだ。
ひよこ カンニングになっちゃうってことか！分割の比率って決まってるの？
ペンギン先生 固定の決まりはないよ。例えば訓練70%・検証15%・テスト15%という分け方もあるけれど、量や目的によって変わる。交差検証で設定を選ぶ場合も、最終評価用のデータは別に残しておくんだ。
ひよこ データは多ければ多いほどいいの？
ペンギン先生 量だけでは決まらないよ。実際に使う場面を代表しているか、重複したデータが学習側と評価側に混ざっていないかも大切なんだ。テスト結果を何度も見て設定を選ぶと、そのテストに合わせてしまうことにも気をつけよう。
ひよこ 公開データなら、そのまま使っていい？
ペンギン先生 公開されていることと、利用条件は別に確認しよう。配布元の説明、ライセンス、データの内容を読むんだ。データの形式や作られ方も調べて、自分の分析や学習の目的に合っているか確かめるとよいね。
まとめ：ざっくりこれだけ覚えればOK！
「データセット」って出てきたら「分析やAIの学習・評価などに使うデータの集まり」と思えばだいたいOK！
📖 おまけ：英語の意味
「Dataset」 ＝ データの集合
💬 data（データ）とset（集合）を組み合わせた言葉だよ。AIに使う教材だけでなく、分析に使う表や画像などの集まりも含むんだ