无线衰落信道上的联邦学习

我们研究无线网络边缘的联邦机器学习，其中功率受限的无线设备各自拥有本地数据集，在远程参数服务器(PS)的协助下构建联合模型。我们考虑从无线设备到PS的带宽受限衰落多址接入信道(MAC)，并提出多种技术来实现分布式随机梯度下降(DSGD)。我们首先提出一种数字DSGD(D-DSGD)方案，其中每轮迭代根据信道条件机会式地选择一个设备进行传输；被调度设备将其梯度估计量量化为由信道条件决定的有限比特数，并以可靠方式将这些比特传输给PS。接着，受无线MAC叠加特性的启发，我们提出一种新颖的模拟通信方案，称为压缩模拟DSGD(CA-DSGD)，其中设备首先对梯度估计量进行稀疏化并累积误差，再将所得稀疏向量投影到低维向量以实现带宽缩减。数值结果表明，D-DSGD优于文献中其他数字方法；但总体上，所提CA-DSGD算法比D-DSGD方案及文献中其他方案收敛更快，并达到更高精度。我们观察到，当设备数据集非独立同分布(i.i.d.)时，模拟与数字方案间的差距增大。此外，CA-DSGD方案在设备端不完美信道状态信息(CSI)下也表现出鲁棒性。总体而言，这些结果显示了所提空中模拟DSGD方案的明显优势，表明在无线边缘的机器学习应用中，学习与通信算法应联合设计以实现最佳端到端性能。