XGBoost（エックスジーブースト） とは？

基本的な考え方は同じだけど、XGBoostは実行速度と精度の両方を徹底的に最適化しているんだ。並列処理で高速化したり、正則化を組み込んで過学習を防いだり、欠損値があっても自動で処理してくれたりと、実務で使いやすい工夫がたくさん詰まっているよ。

2015年頃からKaggleのコンペで上位解法のほとんどがXGBoostを使うようになって一気に広まったんだ。「迷ったらとりあえずXGBoost」と言われるほどで、特に表形式のデータではディープラーニングよりも良い結果を出すことが多いよ。

LightGBMはMicrosoftが開発した後発のライブラリで、大規模データでの学習速度がXGBoostより速いんだ。精度はほぼ同等。最近はLightGBMを使う人の方が多いかもしれないけど、XGBoostも改良が続いていて、GPU対応も強化されているよ。用途によって使い分けるのが現実的だね。

画像や自然言語のような非構造化データには向いていないのが大きな制約だね。そういうデータはディープラーニングの方が圧倒的に強い。あと、XGBoostのモデルは「なぜその予測をしたか」の解釈が難しいという問題がある。数百本の決定木が組み合わさっているから、人間が全体を把握するのは不可能に近い。SHAPという手法で各特徴量の貢献度を可視化できるようになったけど、それでも「このデータがこの値だからこう予測した」という因果関係の説明は本質的にできない。医療や金融のような「予測の根拠を説明する義務がある」分野では、精度が高くても採用できないジレンマがあるんだよ。