Ensemble methods 9781617297137.pdf

简介：
《集成机器学习方法》是一部涵盖集成技术书籍。该书系统性阐述了集成方法的技术分类、理论基础及其实际应用。全书共分四大部分：并行同构集成、并行异构集成、顺序自适应增强集成和顺序梯度提升集成。在并行同构集成部分，书中介绍了利用多个强大的学习器或复杂的模型进行处理的方法。每个集成模型基于相同的算法但采用了不同的数据子集进行训练，从而形成了模型间的多样性。具体而言，包括基于Bootstrap aggregating的Bagging方法、随机森林模型等。此外，该种集成技术还涵盖了采用随机特征采样的Pasting方法、基于随机子空间的随机子空间方法以及随机补丁和非常随机树（Extra Trees）方法。这些方法的关键在于通过数据或特征的随机抽样来生成多样化的基模型。在并行异构集成部分，该书探讨了利用不同基础学习算法进行集成的方法。每个集成模型基于不同的算法进行训练，并结合预测结果以获得最终输出。具体的集成方法包括多数投票法、基于熵的权重分配、Dempster-Shafer证据融合等技术。该部分特别强调了算法多样性对集成性能的重要作用。在顺序自适应增强集成中，书中提出了一种逐步优化的方法。每个弱学习器都是在前一个模型的基础上进行训练，并通过错误修正来提升整体性能。该种方法的关键在于逐步调整权重以解决当前模型的局限性。具体实现上，包括Adaboost算法及其扩展形式LogitBoost等。最后，在顺序梯度提升集成部分，书中详细阐述了利用损失函数优化的方法。每个弱学习器都是在前一个模型的基础上进行训练，并通过最小化特定损失函数来提升预测能力。该种方法的关键在于逐步优化过程以适应任务需求。全书内容涵盖了集成方法的多样性和应用场景，旨在为读者提供一个完整的集成方法知识体系。