FedMMD: Heterogeneous Federated Learning with Multi-teachers

简介：
FedMMD是一种新颖的联邦学习框架，旨在处理异构数据环境。通过引入多教师机制，该方法增强了模型在多样化数据源上的泛化能力和隐私保护。 联邦蒸馏是联邦学习中的一个新算法范式，它使客户端能够训练不同的网络架构。在这一过程中，学生模型可以通过提取来自客户端对公共服务器数据的平均预测来获取其他模型的信息，并且不会侵犯个人数据隐私。然而，仅依赖于所有学生的软标签作为单一教师的方法会受到客户端样本偏差的影响，尤其是在本地数据集异构的情况下。 软标签指的是不同模型之间的平均分类分数。为了解决这个问题，在本段落中我们提出了一种新的联邦学习框架FedMMD（基于多教师和多特征蒸馏的联邦学习），该方法对客户端间不同的数据分布具有鲁棒性。与现有的所有学生共享同一教师的方法相比，FedMMD 为每个需要进行多次独立蒸馏的学生分配了不同的教师模型。由于每个模型都可以单独作为其他学生的老师，因此这种方法解决了单一平均软标签带来的性能限制问题。 此外，在每次蒸馏过程中，FedMMD 并不使用模型在公共数据上的平均软标签来指导训练过程，而是引入了一种结合中间表示和软标签的策略以更全面地捕捉教师的信息细节。我们的实验结果表明，这一方法在两个公开的数据集（CIFAR10 和 MINIST）上均取得了良好的性能表现。