勾配ブースティング とは？

まず1つ目の簡単なモデルで予測して、その予測誤差を計算する。次に2つ目のモデルで「その誤差」を予測する。さらに3つ目のモデルで「残った誤差」を予測する…という繰り返しなんだ。100人でリレーしてバトンを渡すように、前の人の失敗を次の人がカバーしていくイメージだよ。

損失関数（予測と正解のズレを表す関数）の勾配（微分）を使って、次のモデルが修正すべき方向を決めるんだ。坂道を下るように、一番誤差が小さくなる方向にちょっとずつ進んでいく。この「勾配を使って最適化する」という考え方は、ディープラーニングの学習にも共通するものだよ。

表形式のデータ（Excelのようなデータ）に関しては、Kaggleのコンペで圧倒的な勝率を誇っているんだ。特徴量エンジニアリング（データの加工）をしっかりやって勾配ブースティングを使えば、たいていのタスクで上位に入れると言われているよ。

過学習しやすいというのが最大の弱点なんだ。モデルを次々と追加していくと、学習データには完璧にフィットするけど新しいデータでは精度が出ない、ということが起きる。学習率・木の深さ・モデルの数など調整すべきハイパーパラメータが多くて、チューニングに経験が必要なんだ。さらに厄介なのが「特徴量のリーケージ」という問題で、学習データに本来使ってはいけない情報（未来の情報など）が紛れ込んでいると、学習時は完璧な精度が出るのに実運用では全然使えない。勾配ブースティングは表現力が高い分、こういうデータの問題を隠蔽してしまうことがあって、経験豊富なデータサイエンティストでも見落とすことがあるんだよ。