決定木 とは？

そうだよ。根から条件で枝を選び、葉に着いたら予測を返すんだ。図は果物の分類をイメージした仮のルールだよ。「赤い？」→はい→「重さは150g以上？」→はい→「りんご候補」のように進む。実際の機械学習では、訓練データから分け方を学ぶんだ。

決定木は、予測に使った条件を枝として追えるよ。小さな木ならルールを読み取りやすいね。ただし木が大きいと理解しにくくなるし、分岐が読めても現実の原因を証明したことにはならないんだ。

訓練データには合いやすくなるけど、細かなノイズまで覚えて、新しいデータで予測が悪くなることがあるよ。成長前に最大深さなどを制限する方法や、成長後に不要な枝を削る枝刈りがある。調整した木は、学習に使っていないデータでも評価しよう。

分類ではジニ不純度やエントロピーなどを使い、分けた先のデータ数も考慮して、混ざり具合が減る条件を選ぶ方法があるよ。回帰では数値のばらつきなどを見る。各場所でよい分岐を選んでも、木全体が最良になる保証や、無意味な特徴を自動で除ける保証はないんだ。