XGBoost和GBDT的差异分析

简介：
本文将深入探讨XGBoost与GBDT之间的区别，从算法特性、执行效率及模型表现等角度进行详细剖析。 GBDT 使用 CART 作为基分类器，并且 CART 使用 Gini 指数来选择特征。Gini 指数越小表示纯度越高。对于离散特征而言，CART 会依次将每个取值作为分割点计算 Gini 系数；而对于连续特征，则会依次选取两个相邻数值的中间值作为分割点，并把数据分为 S1 和 S2 两部分，然后计算该分割点处的 Gini 增益为这两部分方差之和。接下来，会选择具有最小 Gini 增益的那个分割点进行划分，并以此来评估特征的 Gini 系数。最终会选取拥有最低 Gini 指数的特征作为最优特征及对应的最优切分点。 Xgboost 则支持线性分类器，在此情况下相当于带 L1 和 L2 正则化项的逻辑回归模型。在优化过程中，GBDT 只利用了一阶导数信息；而 Xgboost 对代价函数进行了二阶泰勒展开，并同时使用了包括一阶和二阶在内的所有导数信息，这使得它具有更高的精度。 总的来说，Xgboost 通过增加对损失函数的二次项近似来提高模型准确性，在处理复杂数据时比 GBDT 更为高效。