LightGBM 文档

简介：
LightGBM文档提供了详细的使用指南和参数说明，帮助用户快速掌握高效、分布式的梯度提升框架，适用于各种规模的数据集。 ### LightGBM算法研究 #### 一、算法创新 **1. Bin & Histogram** - **XGBoost等传统实现：** - 使用预排序(pre-sort)加精确查找或分位点近似查找来寻找分裂点。 - 特点：虽然能够确保准确性，但在寻找分裂点时速度较慢。 - **LightGBM实现：** - 采用bin & histogram近似查找技术。 - 优势：大大提高了寻找分裂点的速度，牺牲了一定的准确性但实际效果依然优秀。 - 构造过程：通过`DatasetLoader::ConstructBinMappersFromTextData`方法构建BinMapper。 - 例如，将特征值映射为bin索引，如`-1.0`至`1.0`之间的值可能被映射到特定的bin区间内。 - bin边界（除最小和最大值外）会被用作分裂候选点。 **2. Leaf-wise Split** - 传统层序遍历方法：一层一层地推进分裂。 - LightGBM策略：根据增益导向选择最优分裂路径，在每个迭代步骤中，选择当前树结构中增益最大的叶子节点进行分裂。这种方法可以更高效地提升模型性能。 - 核心代码包括`GBDT::TrainOneIter` 和 `SerialTreeLearner::Train` **3. 分布式训练方法** - **传统特征并行方法：** - 各个节点分别负责不同的特征，进行分裂操作。 - 缺点：通信开销较大。 - **LightGBM的Parallel Voting方法：** - 计算主要在单个节点上完成，减少了通信开销。每个工作节点（Worker Rank, WR）并行找到本地最佳分裂计划(local BSP)，然后中心节点(Central Director, CD)汇总这些计划，选取前2k个最佳计划，并进一步计算其全局增益(global gain)来确定全局最佳分裂计划(global BSP)。 - 最终，全局最佳分裂计划会广播给所有工作节点，它们依据BinMapper对本地数据进行分割。相关代码包括`VotingParallelTreeLearner` 类。 **4. DART (Dropout + GBDT)** - DART是一种在GBDT基础上引入dropout机制的方法。 - 方法概述：随机丢弃部分已建立的树，并对丢弃的树的预测值进行修正。核心代码包括`DART::TrainOneIter` - 作用：通过增加模型多样性提高泛化能力。 **5. GOSS (Gradient-based One-Side Sampling)** - **定义与原理：** - GOSS是一种新型行采样(rowsubsample)方法，特别针对梯度值较大的样本。前几轮不进行采样，随后采样一定比例梯度较大的样本。 - 理论基础是这些样本对损失函数的降低贡献更大。 - 相关代码包括`GOSS::Bagging` - 效果：在保持模型准确性的前提下，大幅提升了训练速度。 #### 二、优点 - **最先进的GBDT工具包**：LightGBM是目前最高效的GBDT算法之一。 - **支持分布式计算**：能够利用多台计算机进行大规模数据处理。 - **快速训练**：采用bin & histogram、Leaf-wise Split等多种优化技术显著加快了训练速度。 - **优秀的模型效果**：在保证训练效率的同时，模型表现优异。 - **节省内存资源**：通过高效的内存管理和优化算法减少资源消耗。 - **并行处理能力强**：充分利用OpenMP和MPI实现高效并行处理。 #### 三、缺点 - **容错性不足**：目前版本的LightGBM在分布式环境下尚未实现故障容忍(fault-tolerance)功能，这意味着当某个节点出现问题时可能会导致整个训练任务失败。