利用梯度的时空相关性实现通信高效联邦学习
机器学习
2026-01-16 v1
摘要
通信开销是联邦学习中的关键挑战，尤其是在带宽受限的网络中。虽然已提出许多方法来降低通信开销，但大多数方法仅关注压缩单个梯度，忽略了它们之间的时间相关性。先前的研究表明，梯度具有空间相关性，通常体现在低秩结构中。通过经验分析，我们进一步观察到相邻轮次之间客户端梯度之间存在强烈的时间相关性。基于这些观察，我们提出了 GradESTC，这是一种利用空间和时间梯度相关性的压缩技术。GradESTC 利用空间相关性将每个完整梯度分解为一组紧凑的基向量和相应的组合系数。通过利用时间相关性，仅需在每个轮次中动态更新少数基向量。GradESTC 通过传输轻量级的组合系数和有限数量的更新基向量，而不是传输完整梯度，从而显著降低了通信开销。广泛的实验表明，在接近收敛的目标精度水平下，GradESTC 比最强的基线平均降低 39.79% 的上行通信，同时保持与未压缩 FedAvg 相当的收敛速度和最终精度。通过有效利用梯度的时空结构，GradESTC 提供了一种实用且可扩展的通信高效联邦学习解决方案。
引用
@article{arxiv.2601.10491,
title = {Communication-Efficient Federated Learning by Exploiting Spatio-Temporal Correlations of Gradients},
author = {Shenlong Zheng and Zhen Zhang and Yuhui Deng and Geyong Min and Lin Cui},
journal= {arXiv preprint arXiv:2601.10491},
year = {2026}
}