XGBoost 即极端梯度提升，是可扩展的分布式梯度提升决策树 (GBDT) 机器学习库。XGBoost 提供并行树提升功能，是用于回归、分类和排名问题的先进机器学习库。
首先掌握 XGBoost 所构建的机器学习概念和算法（监督机器学习、决策树、集成学习和梯度提升）对理解 XGBoost 至关重要。
监督式机器学习使用算法来训练模型，利用标签和特征在数据集中查找模式，然后使用经过训练的模型预测新数据集特征上的标签。
决策树可创建一个模型，该模型通过评估 If-Then-Else True/False 特征问题树来预测标签，并估算做出正确决策的概率所需的最少问题数量。决策树可用于利用分类来预测类别，或利用回归来预测连续数值。在以下简单示例中，决策树用于根据卧室的大小和数量（特征）来估算房价（标签）。
梯度提升决策树 (GBDT) 是一种类似于随机森林的决策树集成学习算法，用于分类和回归。集成学习算法结合了多种机器学习算法，可获得更出色的模型。
随机森林和 GBDT 都构建了由多个决策树组成的模型。不同之处在于树的构建和组合方式。
随机森林使用一种名为 Bagging 的技术，通过数据集的随机自助抽样样本并行构建完整的决策树。最终得到的预测结果是所有决策树预测结果的平均值。
术语“梯度提升”源自“提升”或改进单个弱模型的理念，通过将单个弱模型与大量其他弱模型相结合，生成统一的强大模型。梯度提升是提升的扩展，其中附加生成弱模型的过程被正式确定为目标函数上的梯度下降算法。梯度提升为下一个模型设定了目标结果，以尽可能减少错误。每个案例的目标结果都基于与预测相关的误差梯度（因此称为梯度提升）。
GBDT 以迭代方式训练一组浅层决策树，每次迭代都使用上一个模型的残差拟合下一个模型。最终预测是所有树预测的加权和。随机森林“Bagging”可大幅减少差异和过拟合，而 GBDT“Boosting”则可减少偏差和欠拟合。
XGBoost 是一种可扩展且高度准确的梯度提升实现，它突破了提升树算法的计算能力极限，主要用于提升机器学习模型性能，提高计算速度。使用 XGBoost 时，树是并行构建的，而不是像 GBDT 那样按顺序构建。XGBoost 遵循 level-wise 策略，扫描梯度值并使用这些部分和来评估训练集中每个可分割点的分割质量。