FedProx: 异构网络中的协同优化（MLSys 20）

简介：
本文介绍了FedProx算法，在异构网络中实现了模型参数的高效协同优化，提高了机器学习系统的性能和稳定性。发表于MLSys 20会议。 在异构网络中的联合优化这一存储库提供了本段落的代码与实验数据。联邦学习是一种分布式的学习方法，在此方法中有两个关键挑战区别于传统的分布式优化：一是设备间的系统特性存在显著差异（即系统异质性），二是分布在网络上的数据集不完全相同（即统计异质性）。我们在此研究中提出了一个名为FedProx的框架，旨在理论上和实践上解决联邦网络中的上述问题。该存储库包含了一系列针对联合数据集进行详尽实验评估的数据。 我们的实验证明了FedProx在收敛性能方面优于传统的FedAvg方法，在高度异构环境中尤其明显：与FedAvg相比，它表现出更加稳定且准确的收敛行为，并将绝对测试准确性平均提高了22%。 如需使用FedProx作为基准并运行我们的代码，请注意以下几点： - 如果您采用不同的数据集进行实验，则需要根据您的具体指标调整学习率和mu参数。 - 对于mu值，建议从{0.001, 0.01, 0.1, 0.5, 1}范围内选择合适的数值。