数据挖掘大作业报告_程逸飞_第三题1

简介：
本报告详细阐述了学生们在《数据挖掘》课程中所掌握的知识是如何应用于解决现实问题的过程。其中一项关键任务聚焦于天体光谱的分类这一主题，它结合了天文学、数据科学以及机器学习等多个领域。在完成任务的过程中，各组成员密切合作，并严格遵循数据挖掘的标准工作流程。这一流程包含数据预处理阶段、特征提取环节以及模型构建步骤等多个关键环节，最终实现了对天体光谱的智能识别。在数据挖掘过程中，数据预处理被视为不可或缺的环节，主要涉及对原始数据质量的评估与优化工作。研究团队首先进行了样本数据的直观 preview活动，旨在全面了解其基本特征和内在规律。随后，他们着重完成了缺失值这一基础性操作，并通过相关统计指标对其分布特性进行深入分析。针对可能存在的异常值问题，研究团队采用了专门的数据清洗机制，在后续模型训练过程中确保所有参与变量均达到标准化要求。最后，为了平衡各类别之间的样本数量比例，研究团队还引入了过采样技术辅助数据均衡处理，以避免因数据不平衡导致的分析偏差。在“模型方法论”这一模块中，团队进行了多样化的分类模型研究。随机森林可被视为一种集成学习策略，通过构建多个决策树并结合其预测结果来提升分类准确性和鲁棒性。基于间隔最大化原则，支持向量机（SVM）在高维空间中确定最合适的超平面来进行分类，并且该方法特别适用于小样本和高维数据集。卷积神经网络（CNN）在图像识别任务中表现出色，能够有效提取光谱数据中的局部特征。相比之下，残差神经网络（ResNet）通过引入残差连接机制解决了传统深度学习模型中存在的梯度消失问题，从而显著提高了模型的训练效率和预测性能。实验结果部分，研究团队对多个模型进行了对比分析，评估其分类精度与计算效率。常用评估指标主要涉及准确率、召回率和F1分数，这些指标被用来系统性地考察模型的整体效能。研究过程中详细记录了各模型的训练流程及其在测试集中的性能数据，并基于0.9581分类准确率最终确定随机森林算法为最优选择。 本节小结 小组成员将探讨实验过程中遇到的困难点、收获与提升空间。在这一项目中，学生不仅加深了对数据挖掘理论的理解和掌握，还培养了解决现实问题的实践能力。通过这项实践性工程，其未来科研或职业发展将在坚实的理论与实践经验基础之上得到显著提升。