关于多址衰落信道上的模拟梯度下降学习
机器学习
2020-06-24 v1 信息论
math.IT
机器学习
摘要
我们考虑使用大型无线网络在多址信道（MAC）上的分布式学习问题。计算由网络边缘完成，基于从大量分布式节点接收到的数据，这些节点通过含噪衰落MAC进行传输。目标函数是节点局部损失函数之和。该问题在分布式感知系统中日益受到关注，且近来在联邦学习中亦然。我们提出了一种新颖的基于梯度的多址（GBMA）算法来解决MAC上的分布式学习问题。具体而言，节点使用公共成形波形传输局部梯度的模拟函数，网络边缘接收用于更新估计的模拟传输信号的叠加。GBMA不需要像其他算法那样进行功率控制或波束成形来消除衰落效应，并直接以含噪失真梯度运行。我们从理论上分析了GBMA的性能，并证明其在大型网络中可接近集中式梯度下降（GD）算法的收敛速率。具体地，我们针对具有Lipschitz梯度的凸和强凸损失函数建立了误差的有限样本界。此外，我们给出了随着节点数增加接近集中式收敛速率的能量缩放定律。最后，实验结果支持了理论发现，并展示了GBMA在合成与真实数据上的强劲性能。
引用
@article{arxiv.1908.07463,
title = {On Analog Gradient Descent Learning over Multiple Access Fading Channels},
author = {Tomer Sery and Kobi Cohen},
journal= {arXiv preprint arXiv:1908.07463},
year = {2020}
}
备注
32 pages, 6 figures