基于量化压缩感知的通信高效联邦学习
分布式、并行与集群计算
2021-12-01 v1 人工智能
信号处理
摘要
在本文中，我们提出了一种受量化压缩感知启发的通信高效联邦学习框架。该框架由无线设备的梯度压缩和参数服务器（PS）的梯度重建组成。我们的梯度压缩策略是依次执行块稀疏化、降维和量化。得益于梯度稀疏化和量化，我们的策略可以实现比一比特梯度压缩更高的压缩比。为了在PS处对来自压缩信号的局部梯度进行精确聚合，我们提出了一种近似最小均方误差（MMSE）方法，使用期望最大化广义近似消息传递（EM-GAMP）算法进行梯度重建。假设伯努利高斯混合先验，该算法从压缩信号中迭代更新局部梯度的后验均值和方差。我们还提出了一种低复杂度的梯度重建方法。在该方法中，我们使用Bussgang定理从压缩信号中聚合局部梯度，然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提框架的收敛速率分析。使用MNIST数据集，我们证明所提框架实现了与不进行压缩的情况几乎相同的性能，同时显著降低了联邦学习的通信开销。
引用
@article{arxiv.2111.15071,
title = {Communication-Efficient Federated Learning via Quantized Compressed Sensing},
author = {Yongjeong Oh and Namyoon Lee and Yo-Seb Jeon and H. Vincent Poor},
journal= {arXiv preprint arXiv:2111.15071},
year = {2021}
}