批量标准化与残差网络及密集连接网络

简介：
本研究探讨了深度学习中关键架构设计原则，包括批量标准化、残差学习和密集连接策略，以提升神经网络性能和训练效率。 批量归一化（BatchNormalization） 在浅层模型中，批量归一化对输入数据进行标准化处理，使得经过处理后的任意一个特征在整个数据集中的所有样本上的均值为0、标准差为1。这样可以使各个特征的分布更加相近。 对于深度模型而言，利用小批量的数据计算出其均值和标准差，并不断调整神经网络中间层的输出，从而使整个神经网络在各层次之间的中间输出数值更稳定。 ### 全连接层的批量归一化 通常情况下，全连接层通过前两条公式实现。在这两个步骤之间加入批量归一化的处理过程：计算输入向量x中每个元素i对应的均值μ和标准差σ，并根据这些统计信息调整输入数据得到新的x(i)；最后再经过激活函数产生输出结果。 这里ϵ > 0是一个很小的常数，确保在分母中的数值不会为零。 ### 卷积层的批量归一化 卷积层中应用批量归一化的具体位置是在完成卷积分操作之后、但在执行非线性变换（如ReLU激活函数）之前进行。