FedImpro：联邦学习中客户端更新的度量与改进
机器学习
2024-03-15 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）模型常常会因数据异质性（即不同客户端的数据分布存在差异）而经历客户端漂移。为解决此问题，前沿研究主要集中于操纵现有梯度以实现更一致的客户端模型。在本文中，我们提出了关于客户端漂移的另一种视角，并旨在通过生成改进的局部模型来缓解该问题。首先，我们分析了局部训练的泛化贡献，并得出结论：该泛化贡献受限于不同客户端数据分布之间的条件 Wasserstein 距离。然后，我们提出 FedImpro，为局部训练构建相似的条件分布。具体而言，FedImpro 将模型解耦为高层和低层组件，并在重构的特征分布上训练高层部分。这种方法增强了泛化贡献并降低了联邦学习中梯度的差异性。实验结果表明，FedImpro 可以帮助 FL 抵御数据异质性并增强模型的泛化性能。
引用
@article{arxiv.2402.07011,
title = {FedImpro: Measuring and Improving Client Update in Federated Learning},
author = {Zhenheng Tang and Yonggang Zhang and Shaohuai Shi and Xinmei Tian and Tongliang Liu and Bo Han and Xiaowen Chu},
journal= {arXiv preprint arXiv:2402.07011},
year = {2024}
}