FedCME：通过客户端匹配与分类器交换处理联邦学习中的数据异构性
机器学习
2023-07-18 v1
摘要
客户端间的数据异构性是联邦学习（FL）的关键挑战之一，其可能减缓全局模型收敛甚至削弱全局模型性能。大多数现有方法通过参考服务器提供的全局信息来约束本地模型更新，从而应对异构性。这能缓解聚合后全局模型的性能退化。与现有方法不同，我们聚焦于客户端间的信息交换，其同样可增强本地训练的有效性并生成高性能全局模型。具体地，我们提出一种名为 FedCME 的新型联邦学习框架，通过客户端匹配与分类器交换实现。在 FedCME 中，数据分布差异较大的客户端将被两两匹配，随后对应客户端对会在本地训练的中间时刻交换其分类器。由于本地数据决定本地模型训练方向，我们的方法可纠正分类器的更新方向并有效缓解本地更新发散。此外，我们提出特征对齐以增强特征提取器的训练。实验结果表明，在数据异构情况下，FedCME 在包括 FMNIST 与 CIFAR10 的流行联邦学习基准上优于 FedAvg、FedProx、MOON 与 FedRS。
引用
@article{arxiv.2307.08574,
title = {FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning},
author = {Jun Nie and Danyang Xiao and Lei Yang and Weigang Wu},
journal= {arXiv preprint arXiv:2307.08574},
year = {2023}
}