通信受限移动计算中面向数据的联邦学习梯度压缩
机器学习
2024-11-26 v3
摘要
移动环境中的联邦学习（FL）面临显著的通信瓶颈。梯度压缩已被证明是解决此问题的有效方案，在带宽有限和按流量计费的数据环境中带来显著收益。然而，由于采用一刀切的压缩方法而未考虑各工作节点间数据量的差异，它在非独立同分布（non-IID）环境中遭遇严重的性能下降。因此，为具有不同数据分布和容量的工作节点分配不同的压缩比是很有前景的解决方案。本文推导了带非均匀压缩的分布式 SGD 的收敛速率，揭示了模型收敛与应用于各个工作节点的压缩比之间的复杂关系。据此，我们将相对压缩比分配构建为一个受有限通信预算约束的 变量卡方非线性优化问题。我们提出 DAGC-R，它对处理较大数据量的工作节点分配保守的压缩。认识到移动设备的计算限制，我们提出了 DAGC-A，其计算开销更小并增强了在非独立同分布场景中压缩的鲁棒性。我们的实验证实，在处理高度不平衡的数据量分布和受限通信时，DAGC-R 和 DAGC-A 相比均匀压缩分别可将训练速度提升多达 和 。
引用
@article{arxiv.2311.07324,
title = {Data-Aware Gradient Compression for FL in Communication-Constrained Mobile Computing},
author = {Rongwei Lu and Yutong Jiang and Yinan Mao and Chen Tang and Bin Chen and Laizhong Cui and Zhi Wang},
journal= {arXiv preprint arXiv:2311.07324},
year = {2024}
}
备注
This article has been accepted for publication in IEEE Transactions on Mobile Computing. Citation information: DOI https://doi.org/10.1109/TMC.2024.3504284/mm1