XGBoost

XGBoostとは

XGBoost（eXtreme Gradient Boosting）は、勾配ブースティングを高速・高精度に実装したオープンソースの機械学習ライブラリです。決定木を順に積み重ねて予測を改善する手法で、表形式データ（テーブルデータ）の分類・回帰タスクで事実上の定番となっています。

データ分析コンペや実務の予測モデルで、長年トップ級の精度を出し続けています。

仕組み

• ブースティング: 弱い決定木を一本ずつ作り、前の木の誤差を次の木が補正するように学習を進める
• 勾配降下法の考え方: 誤差（損失）の勾配を使って、次にどう改善するかを決める
• 正則化: 過学習を防ぐ仕組みを組み込み、汎化性能を高めている

結果として、少ない調整で高精度が出やすいのが大きな魅力です。

ランダムフォレストとの違い

• ランダムフォレスト: 多数の木を並列に作って平均・多数決
• XGBoost: 木を直列に積み上げ、誤差を段階的に減らす

一般にXGBoostの方が精度が高くなりやすい一方、学習が複雑でチューニングがやや難しい傾向があります。

実務との関わり

士業事務所で直接XGBoostを動かす場面は多くありませんが、与信判定・不正検知・需要予測・離職予測など、業務AI製品の裏側で広く使われています。「テーブルデータの予測なら、まずはXGBoost級の手法が有力」と覚えておくと、ベンダー説明を理解しやすくなります。