联邦学习的模数调度：一种通信高效的方法
机器学习
2024-02-05 v2 信息论
信号处理
math.IT
摘要
空中计算最近作为一种通信高效的联邦学习（FL）范式出现，用于在无线网络上训练机器学习模型。然而，其性能受限于具有最差信噪比（SNR）的设备，导致更新速度快但存在噪声。另一方面，通过数字信道为各个设备分配正交资源块（RB）可以缓解噪声问题，但代价是通信延迟增加。在本文中，我们解决了这一矛盾，并提出了一种新颖的模数混合联邦学习方案 ADFL：在每一轮中，参数服务器（PS）调度每个设备通过模拟 OTA 方案上传其梯度，或者使用“数字”方案在正交 RB 上传输其量化梯度。针对单个联邦学习轮次，我们将最优调度问题转化为在延迟约束下最小化 PS 处估计的全局梯度的均方误差（MSE），从而得出数字设备的最优设备调度配置和量化比特数。我们的仿真结果表明，ADFL 通过将大多数设备调度在 OTA 方案中，同时偶尔对少数设备采用数字方案，在独立同分布和非独立同分布设置下均始终优于纯 OTA 和纯数字方案。
引用
@article{arxiv.2402.00318,
title = {Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach},
author = {Muhammad Faraz Ul Abrar and Nicolò Michelusi},
journal= {arXiv preprint arXiv:2402.00318},
year = {2024}
}
备注
Appeared at the 2023 Asilomar Conference on Signals, Systems, and Computers