提升通信高效联邦学习中低秩分解的万灵药
机器学习
2025-08-19 v2 分布式、并行与集群计算
摘要
为了提高联邦学习 (FL) 的训练效率，以往的研究采用了低秩分解技术来减少通信开销。在本文中，我们寻求提升这些低秩分解方法的性能。具体而言，我们关注 FL 中与分解相关的三个关键问题：分解什么，如何分解，以及如何聚合。随后，我们引入了三种新技术：模型更新分解 (MUD)、块级 Kronecker 分解 (BKD) 和聚合感知分解 (AAD)，每种技术针对一个特定问题。这些技术是互补的，可以同时应用以实现最佳性能。此外，我们提供了严格的理论分析以确保所提出的 MUD 的收敛性。大量实验结果表明，与相关的基线方法相比，我们的方法实现了更快的收敛速度和更高的准确率。代码可在 https://github.com/Leopold1423/fedmud-icml25 获取。
关键词
引用
@article{arxiv.2505.23176,
title = {The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning},
author = {Shiwei Li and Xiandi Luo and Haozhao Wang and Xing Tang and Shijie Xu and Weihong Luo and Yuhua Li and Xiuqiang He and Ruixuan Li},
journal= {arXiv preprint arXiv:2505.23176},
year = {2025}
}
备注
Accepted by ICML 2025