FedComLoc：稀疏量化模型的通信高效分布式训练
机器学习
2025-09-11 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习(FL)因其独特特征而受到关注：允许异构客户端在本地处理私有数据并与中心服务器交互，同时尊重隐私。FL的关键瓶颈是通信成本。缓解这一负担的关键策略是本地训练，即在通信阶段之间运行多个本地随机梯度下降迭代。我们的工作受到新颖的Scaffnew算法的启发，该算法在FL中显著降低了通信复杂度。我们引入FedComLoc(Federated Compressed and Local Training)，将实用且有效的压缩技术集成到Scaffnew中，以进一步提升通信效率。广泛的实验使用流行的TopK压缩器和量化，证明了其在异构环境中显著降低通信开销的卓越能力。
引用
@article{arxiv.2403.09904,
title = {FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models},
author = {Kai Yi and Georg Meinhardt and Laurent Condat and Peter Richtárik},
journal= {arXiv preprint arXiv:2403.09904},
year = {2025}
}
备注
Accepted version at Transactions on Machine Learning Research (TMLR)