无线网络上的联邦学习：一种限带协调下降方法
网络与互联网体系结构
2021-02-17 v1 机器学习
信号处理
摘要
我们考虑一种用于网络边缘联邦学习的多对一无线架构，其中多个边缘设备使用本地数据协作训练模型。无线连接的不可靠性，加上边缘设备计算资源的限制，要求边缘设备的本地更新应被精心设计并压缩，以匹配可用的无线通信资源，并应与接收端协同工作。受此驱动，我们针对此类设置提出了基于 SGD 的限带坐标下降算法。具体而言，对于采用空中计算（over-the-air computing）的无线边缘，接收端在每次迭代中选择跨边缘设备的梯度更新的 k 个坐标的公共子集，然后通过 k 个子载波同时传输，每个子载波经历时变信道条件。我们刻画了通信误差和压缩（就由此产生的梯度偏差和均方误差而言）对所提算法收敛性的影响。然后我们通过联合优化功率分配和学习率来研究学习驱动的通信误差最小化。我们的发现表明，不同子载波上的最优功率分配应同时考虑梯度值和信道条件，从而推广了广泛使用的水填充（water-filling）策略。我们还开发了易于实现的次优分布式解决方案。
引用
@article{arxiv.2102.07972,
title = {Federated Learning over Wireless Networks: A Band-limited Coordinated Descent Approach},
author = {Junshan Zhang and Na Li and Mehmet Dedeoglu},
journal= {arXiv preprint arXiv:2102.07972},
year = {2021}
}