基于无线 D2D 网络 SGD 的去中心化联邦学习
信息论
2020-03-02 v1 网络与互联网体系结构
信号处理
math.IT
摘要
联邦学习（FL）是网络边缘快速智能获取的新兴范式，它能够在本地数据披露有限的情况下，基于分布式数据集和计算资源联合训练机器学习模型。由于边缘设备间需交换大量模型信息，通信是大规模 FL 的关键赋能因素。本文考虑一个共享公共衰落无线信道的无线设备网络以部署 FL。每个设备持有通常不同的训练集，且通信通常以设备到设备（D2D）方式进行。在所有通信范围内设备均可同时且无噪通信的理想情形下，在凸性和连通性假设下保证收敛到全局经验风险最小化问题最优解的标准协议是去中心化随机梯度下降（DSGD）。DSGD 将本地 SGD 步骤与需要相邻设备间通信的周期性共识平均相结合。本文提出考虑路径损耗、衰落、遮挡和互干扰存在的无线协议来实现 DSGD。所提协议基于图着色进行调度，并在物理层采用数字与模拟传输策略，其中后者通过基于稀疏性的恢复利用空中计算。
引用
@article{arxiv.2002.12507,
title = {Decentralized Federated Learning via SGD over Wireless D2D Networks},
author = {Hong Xing and Osvaldo Simeone and Suzhi Bi},
journal= {arXiv preprint arXiv:2002.12507},
year = {2020}
}
备注
5 pages, 3 figures, submitted for possible conference publication