基于双侧低秩压缩的通信高效联邦学习
机器学习
2021-04-27 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种前景广阔且强大的方法，可在不共享客户端原始数据的情况下训练深度学习模型。在 FL 的训练过程中，中心服务器与分布式客户端需要定期交换大量模型信息。为应对训练通信密集的挑战，我们提出一种称为双侧低秩压缩联邦学习（FedDLR）的新训练方法，其中深度学习模型在服务器端和客户端均通过低秩近似进行压缩。所提出的 FedDLR 不仅减少了训练阶段的通信开销，还直接生成紧凑模型以加速推理过程。我们将提供收敛性分析，研究关键参数的影响，并经验性地表明 FedDLR 在通信与计算效率方面均优于最先进的方案。
引用
@article{arxiv.2104.12416,
title = {Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression},
author = {Zhefeng Qiao and Xianghao Yu and Jun Zhang and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2104.12416},
year = {2021}
}
备注
6 pages, 5 figures, submitted for potential publication