有关激活函数的内容
5星
- 浏览量: 0
- 大小:None
- 文件类型：PDF
简介：
本内容聚焦于神经网络中的激活函数，探讨其重要性、常见类型（如Sigmoid、ReLU）及其在深度学习模型训练中的应用与影响。
1. 为什么要使用激活函数？
因为线性函数能拟合的模型较少，多层线性神经网络叠加后仍为线性结构，加入非线性的激活函数可以增强模型的表达能力。
2. 激活函数的要求：
需要具备非线性和可微分（支持反向传播）的特点。
3. 常用的激活函数：
- Sigmoid：能够将输入值映射到0和1之间。
缺点在于，当输入非常大或非常小时会导致梯度变得很小（接近于零），这会降低使用梯度下降法时的学习效率。在深层网络中容易引发梯度消失问题。
- tanh：可以将实数域的值映射到-1至1之间。
相较于Sigmoid，tanh的表现通常更优，因为它输出平均接近0，有助于减少训练过程中的数值偏差。
全部评论 (0)
还没有任何评论哟~
