Keras_Rectified_Adam是一种改进版的优化算法，结合了Rectified Adam的优点，在Keras框架下提供更高效的模型训练过程。适用于深度学习领域。
修正亚当为凯拉斯修正Keras港口的一个贡献是引入了预热的Adam优化器，通常在有预热的情况下表现更佳。然而，在缺乏预热设置下使用Adam的话，初始迭代期间梯度方差较大，这会导致最小值过冲，并最终影响到最优解的质量。
相比之下，“加热”概念指的是在训练前几个时期内采用非常低的学习率进行初步适应性调整以减少这种较大的方差问题。不过，确定适当的预热时长和学习速率则需要大量的超参数搜索工作，这一过程往往成本较高且耗时较长。
为了解决上述挑战，提出了整流Adam (Rectified Adam)，它引入了一种动态的方差缩减算法来自动调整优化器行为而无需手动调节过多超参数。用户只需将rectified_adam.py脚本添加到项目中并导入使用即可替代标准Adam优化器进行训练。
需要注意的是，当前版本仅支持基础整流亚当功能，并未包含EMA（指数移动平均）缓冲区变体的支持，这是由于Keras在图模式下无法访问或索引当前时间步。这一限制可能在未来TensorFlow 2.0的急切执行模式中得到解决。
5星
