面向通信高效联邦边缘学习的单比特空中聚合:设计与收敛性分析
信息论
2020-12-03 v2 分布式、并行与集群计算
网络与互联网体系结构
信号处理
math.IT
摘要
联邦边缘学习(FEEL)是一种流行的框架,用于在边缘服务器上利用分布于边缘设备(如智能手机和传感器)的数据训练模型而不损害其隐私。在FEEL框架中,边缘设备周期性地向边缘服务器传输高维随机梯度,这些梯度被聚合并用于更新全局模型。当边缘设备共享同一通信介质时,从设备到边缘服务器的多址信道(MAC)会造成通信瓶颈。为克服该瓶颈,近来提出了一种高效的宽带模拟传输方案,其利用无线介质的波形叠加特性聚合模拟调制的梯度(或本地模型)。然而,所假设的线性模拟调制难以在专门使用数字调制的现代无线系统中部署。为解决此问题,我们在本工作中提出一种新颖的宽带空中聚合数字版本,称为单比特宽带数字聚合(OBDA)。新方案的特征是:边缘设备处进行单比特梯度量化随后进行数字正交振幅调制(QAM),以及边缘服务器处基于空中多数投票的解码。我们全面分析了无线信道恶化(信道噪声、衰落和信道估计误差)对所述FEEL方案收敛速率的影响。分析表明,这些恶化通过将一个缩放因子和偏置项引入梯度范数而减慢了学习过程的收敛。然而,我们表明所有负面影响随着参与设备数量的增长而消失,但对每种信道恶化类型以不同速率消失。
引用
@article{arxiv.2001.05713,
title = {One-Bit Over-the-Air Aggregation for Communication-Efficient Federated Edge Learning: Design and Convergence Analysis},
author = {Guangxu Zhu and Yuqing Du and Deniz Gunduz and Kaibin Huang},
journal= {arXiv preprint arXiv:2001.05713},
year = {2020}
}
备注
to appear in IEEE Transactions on Wireless Communications, the open source codes are available at https://github.com/BornHater/One-bit-over-the-air-computation