Adaboost在MNIST上的应用：基于决策树与梯度提升分类器的从零实现

简介：
本项目深入探讨了AdaBoost算法在经典手写数字识别数据集MNIST上的应用，结合决策树和梯度提升技术，提供了一个完整的、从零开始的Python实现方案。 AdaboostOnMNIST 是一个从头开始实现 Adaboost 算法的项目，使用了两种不同的弱学习者：决策树分类器和梯度提升分类器。该项目在 MNIST 数据集上运行以区分奇数和偶数。经过 scikit-learn 模型测试后，Adaboost 在该任务中表现出更高的分数。最小训练误差为 1.8%，通过7次迭代实现了这一结果（使用了梯度增强）。函数调用形式是 adaboost(X_train, Y_train, inversions_t, Classifier_type)，其中分类器类型可以是 Gradient_Boost 或 Decision_tree，作为第四个输入。adaboost 函数返回一个四元组 (stump, stump_weights, errors, D_weights)。可以通过调用 predict(stumps, stump_weights, X_test) 对测试集进行预测，这将返回 X_test 的标签数组。