基于LQ-SGD算法的分布式学习可信高效通信
机器学习
2025-06-24 v1
摘要
我们提出了LQ-SGD（Low-Rank Quantized Stochastic Gradient Descent），一种为分布式训练设计的高效通信梯度压缩算法。LQ-SGD在PowerSGD的基础上引入低秩近似和log量化技术，大幅降低通信开销，同时保持训练的收敛速度和模型精度。此外，LQ-SGD和其他压缩方法对梯度反转更具抵抗力，优于传统SGD方法，为分布式学习系统提供了更稳健和更高效的优化路径。
引用
@article{arxiv.2506.17974,
title = {Trustworthy Efficient Communication for Distributed Learning using LQ-SGD Algorithm},
author = {Hongyang Li and Lincen Bai and Caesar Wu and Mohammed Chadli and Said Mammar and Pascal Bouvry},
journal= {arXiv preprint arXiv:2506.17974},
year = {2025}
}