西南交通大学 机器学习 实验五.docx

简介：
这份文档是《西南交通大学》课程中关于“机器学习”模块实验五的教学资料，包含了详细的实验指导和操作步骤。 西南交通大学机器学习实验5的报告旨在帮助学生理解神经网络的基本原理与计算框架，包括前馈神经网络、激活函数、损失函数以及反向传播过程，并通过梯度下降法训练模型以提高对不同参数设置下算法性能的理解。 1. 神经网络原理 神经网络是一种模仿人脑结构和功能的机器学习方法。它由输入层、隐藏层及输出层构成，各层级间通过权重连接来传递信息。虽然这种架构能够处理复杂的非线性关系，但其计算成本高且训练时间长。 2. 前馈神经网络 前馈神经网络是一种常见的结构，在此模型中数据只沿单一方向流动——从输入层流向输出层而没有反馈路径。尽管它具备简单快速的特点，但在涉及需要处理循环或回溯信息的任务时效果不佳。 3. 激活函数 激活函数决定了每个节点如何转换其接收到的加权总和信号，并且是神经网络能够捕捉到数据中非线性特征的关键因素之一。常用的有Sigmoid、Tanh及ReLU等类型，每种都有各自的优点与局限性：如sigmoid虽然输出值范围限定在0至1之间便于后续处理，但其梯度消失问题限制了深层模型的训练；而ReLU则以其计算效率高著称，但在某些情况下可能导致“死亡节点”现象。 4. 损失函数 损失函数用于评估预测结果与实际目标之间的差距大小。常用的选择包括均方误差和交叉熵等类型。前者因其实现简单且速度快而在许多场景下被广泛采用；然而它对异常值非常敏感，而后者虽然计算成本较高但具有更好的鲁棒性。 5. 梯度下降法 梯度下降是一种用于优化神经网络参数的技术，通过迭代调整权重来最小化损失函数。尽管这种方法可以迅速找到全局或局部最优解的位置，但如果学习速率设置不当，则可能导致训练过程中的不稳定表现或者效率低下等问题。 6. 实验结果 实验结果显示了不同初始学习率对模型性能的影响：当使用0.001的学习率时，模型的收敛曲线较为平滑且在测试集上达到了较高的准确度；而将这个值增加至0.005和进一步增大到0.01则分别导致了更大的损失函数波动以及完全无法达到稳定的训练状态。 7. 实验环境 实验使用Python语言结合numpy、pandas及matplotlib等库完成。代码中添加了解释性的中文注释以便于理解，并提供了必要的说明信息以支持报告内容的阐述。