Python中的GAN训练两时间尺度更新规则

简介：
本研究探讨了在Python环境下利用生成对抗网络（GAN）进行深度学习时，采用双时间尺度更新法则优化模型参数的方法及其效果。 用于训练生成对抗网络（GAN）的两个时间尺度更新规则（Two Time-Scale Update Rule for Training GANs），该方法通过引入一个双时间尺度更新策略帮助模型收敛至局部纳什均衡点，相关代码已在配套论文中发布。 在评估实验性能时采用了Fréchet初始距离（FID）。详细说明可见于论文的实验部分及附录A1。简而言之：两个多元高斯分布X_1 ~ N(mu_1, C_1) 和 X_2 ~ N(mu_2, C_2) 之间的弗雷歇距离计算公式为 d^2 = ||mu_1 - mu_2||^2 + Tr(C_1 + C_2 - 2* sqrt(C_1*C_2))。其中，X_1 和 X_2 分别代表生成样本和真实世界样本在初始模型（见下文）的编码层池化3层激活值。 mu_n 表示所有真实或生成样本中编码层激活值的平均数，C_n 是相应的协方差矩阵。重要提示：计算高斯分布统计量所需的样本数量应大于等于编码层维度，在本例中的Inception pool 3 层为2048维。若使用不足的样本数目，则会导致协方差矩阵非满秩，从而影响FID值的准确性。