FedDisco：具有差异感知协作的联邦学习
机器学习
2023-05-31 v1
摘要
本工作关注联邦学习中的类别分布异质性。该问题源于多个客户端的偏置标注偏好，是一种典型的数据异质性设置。为缓解此问题，多数已有工作考虑正则化局部模型或微调全局模型，却忽略了聚合权重的调整，仅基于数据集大小简单分配权重。然而，基于我们的经验观察与理论分析，发现数据集大小并非最优，而局部与全局类别分布间的差异可作为确定聚合权重的有益且互补的指标。我们因此提出一种新颖的聚合方法——差异感知协作的联邦学习（FedDisco），其聚合权重不仅包含数据集大小与差异值，还有助于得到更紧的优化误差理论上限。FedDisco 还提升了隐私保护、通信与计算效率，以及模块化程度。大量实验表明，我们的 FedDisco 优于多种最先进方法，且可轻松与许多现有方法结合以进一步提升性能。我们的代码将发布于 https://github.com/MediaBrain-SJTU/FedDisco。
引用
@article{arxiv.2305.19229,
title = {FedDisco: Federated Learning with Discrepancy-Aware Collaboration},
author = {Rui Ye and Mingkai Xu and Jianyu Wang and Chenxin Xu and Siheng Chen and Yanfeng Wang},
journal= {arXiv preprint arXiv:2305.19229},
year = {2023}
}
备注
Accepted by International Conference on Machine Learning (ICML2023)