FedCM：带有客户端级动量的联邦学习
机器学习
2021-06-22 v1
摘要
联邦学习是一种无需数据共享即可进行模型训练的分布式机器学习方法。本文提出一种新的联邦学习算法——带有客户端级动量的联邦平均(FedCM)，以解决现实联邦学习应用中的部分参与和客户端异构问题。FedCM聚合先前通信轮次的全局梯度信息，并使用类动量项修改客户端梯度下降，从而有效纠正偏差并提升本地SGD的稳定性。我们提供理论分析以阐明FedCM的优势。我们还进行了大量实证研究，证明FedCM在各种任务中均取得优越性能，并且对不同规模的客户端数量、参与率和客户端异构具有鲁棒性。
引用
@article{arxiv.2106.10874,
title = {FedCM: Federated Learning with Client-level Momentum},
author = {Jing Xu and Sen Wang and Liwei Wang and Andrew Chi-Chih Yao},
journal= {arXiv preprint arXiv:2106.10874},
year = {2021}
}