PolarAir：一种用于空中联邦学习的压缩感知方案
信息论
2023-01-25 v1 机器学习
信号处理
math.IT
摘要
我们探索了一种在加性白高斯噪声信道上以联邦学习配置训练深度神经网络的方案。目标是创建一种称为 PolarAir 的低复杂度线性压缩策略，在用户端减小梯度尺寸，从而降低传输梯度所需的信道使用次数。所提方法属于压缩感知技术家族，但其利用多址技术构造感知矩阵与恢复过程。仿真表明，与无压缩传输梯度相比，它可将信道使用次数减少约 30%。所提方案相对于文献中其他方案的主要优势在于其低时间复杂度。我们还研究了训练过程中梯度更新的行为以及 PolarAir 的性能，以深入了解如何最好地基于压缩感知构造该压缩方案。
引用
@article{arxiv.2301.10110,
title = {PolarAir: A Compressed Sensing Scheme for Over-the-Air Federated Learning},
author = {Michail Gkagkos and Krishna R. Narayanan and Jean-Francois Chamberland and Costas N. Georghiades},
journal= {arXiv preprint arXiv:2301.10110},
year = {2023}
}