优化深层神经网络：超参数调节、正则化及RMSprop算法探讨

简介：
本文深入探讨了优化深层神经网络的关键技术，包括超参数调节策略、正则化方法以及RMSprop算法的应用与改进。 RMSprop算法全称是root mean square prop算法，它能够加速梯度下降过程。回想之前的例子，在执行梯度下降时，尽管在横轴方向上有所进展，但在纵轴方向可能会出现大幅度的摆动。假设纵轴代表参数b，而横轴则表示参数W（可以认为还有其他重要的参数如$W_1, W_2$等）。为了简化说明，我们称这两个主要的方向为b和W。 如果希望减缓在b方向上的学习速度，并同时加快在横轴方向的学习，则RMSprop算法能够实现这一目标。在第t次迭代中，该算法会像往常一样计算当前mini-batch的梯度$dW$ 和 $db$。这里引入一个新的符号 $Sdw$ ，其定义为：$Sdw = \beta * Sdw + (1 - \beta) * (dW)^2$ 。