通过全局动量融合的梯度压缩方案提升联邦学习通信效率
分布式、并行与集群计算
2022-11-18 v1
摘要
联邦学习内部的通信成本阻碍了系统从更多客户端获取更多数据的可扩展性。所提出的FL采用中心辐射型网络拓扑，所有客户端通过中央服务器通信。因此，已有人提出通过数据压缩等技术降低通信开销以缓解此问题。联邦学习的另一挑战是数据分布不平衡，在典型联邦学习设定中，各客户端上的数据并非独立同分布(non-IID)。本文中，我们提出一种称为全局动量融合(GMF)的新压缩补偿方案，其在non-IID数据存在下降低FL客户端与服务器间的通信开销，并保持可比的模型精度。GitHub仓库：https://github.com/tony92151/global-momentum-fusion-fl
引用
@article{arxiv.2211.09320,
title = {Improving Federated Learning Communication Efficiency with Global Momentum Fusion for Gradient Compression Schemes},
author = {Chun-Chih Kuo and Ted Tsei Kuo and Chia-Yu Lin},
journal= {arXiv preprint arXiv:2211.09320},
year = {2022}
}