本PPT探讨了在会议环境中应用全连接神经网络（即多层感知机）的技术细节与优势，涵盖模型构建、训练及优化策略。
全连接神经网络，也称为多层感知机（MLP），是深度学习领域广泛应用的基础模型之一。它由多个层级构成，包括至少一个输入层、若干隐藏层以及一个输出层。每个层次都包含一定数量的神经元，并通过权重相连形成网络结构。
1. **单层感知机**：
单层感知机是最简单的形式，仅含一层且通常用于解决二分类问题。其模型表达式为：`y = w1x1 + w2x2 + b`，其中`w1`, `w2`表示权重值而`b`代表偏置。
在房价预测场景中，单层感知机可以用来描述房屋价格与面积、房龄等特征之间的线性关系。训练过程中使用损失函数来衡量模型的预测效果，并通过优化算法调整参数以减少误差。
2. **多层感知机（MLP）**：
多层感知机引入了隐藏层次，增强了非线性建模能力。
激活函数是其核心组成部分之一。例如ReLU激活函数在输入大于零时提供恒定梯度，有助于避免梯度消失问题；但当输入为负值时，则可能使神经元停止学习（即“死亡ReLU”现象）。
另一种常见的激活函数是Sigmoid，它将输出限定于0到1之间，并常用于二分类任务的最后阶段。
3. **梯度优化**：
深度学习中常用的参数更新方法包括批量梯度下降、随机梯度下降和小批量梯度下降。其中，小批量梯度下降通过使用部分数据样本进行权重调整，在计算效率与训练速度之间取得平衡点。
4. **前馈神经网络**：
多层感知机又被称为前馈神经网络，因为信息在各层级间单向传递，并不存在反馈环路。
5. **实例分析**：
使用Fashion-MNIST数据集进行多层感知机的实践训练是常见做法。该数据集包含10个类别，有助于理解如何利用多层次结构处理分类问题。
6. **损失函数选择**：
在回归任务中（如房价预测），通常采用L2损失作为评估标准；而在分类场景下，则可能偏好使用交叉熵损失来衡量模型性能。
7. **梯度优化方法**：
除了基础的梯度下降算法，还有多种改进策略被广泛应用于深度学习实践中。例如Momentum、Adagrad、RMSprop 和 Adam等优化器能够更高效地搜索全局最优解，并且可以显著提升训练效率与模型表现。
全连接神经网络特别是多层感知机，在处理复杂的输入-输出映射关系时展现了强大的建模能力，是进行各类机器学习任务的基础工具。掌握其原理及优化技巧对于深入理解深度学习至关重要。
5星
