ランダムフォレスト とは？

「群衆の知恵」っていう考え方だよ。一人の専門家の意見よりも、多くの普通の人の平均が正確なことがあるよね。それと同じで、ちょっと精度の低い木でも、バラバラなエラーをする木をたくさん集めると、全体として正解率が上がるんだ。

逆説的だけど大事なポイントだよ。全部の木が同じデータで学習すると同じエラーをしてしまって、多数決に意味がなくなる。ランダムにすることで各木が違う側面を学ぶから、エラーが分散して全体のエラーが減るんだ。

高次元のデータや、関係性が複雑なデータだとディープラーニングに負けることが多いね。あと「なぜその予測をしたか」の説明が決定木より難しくなる。100本の木の多数決だと、どの木がどう判断したかを追いきれないから。

ランダムフォレストはバギングを発展させた手法なんだ。バギングはデータをランダムにサンプリングして複数のモデルを作るけど、各モデルが全ての特徴（列）を使う。ランダムフォレストはそこにさらに「各分岐で使う特徴もランダムに絞る」というひと工夫を加えているんだ。この特徴のサブサンプリングによって木どうしの相関が下がって多様性が生まれる。相関の高い木を多数決させてもあまり意味がないけど、バラバラな木なら多数決が有効に機能する、というのが肝なんだよ。