空中计算去中心化联邦学习
信息论
2021-06-16 v1 机器学习
信号处理
math.IT
摘要
在本文中，我们考虑无线网上的去中心化联邦学习（FL），其中采用空中计算（AirComp）以设备到设备（D2D）通信方式促进本地模型共识。然而，基于 AirComp 的共识阶段在每个算法迭代中带来加性噪声，且共识需要对无线网络拓扑变化具有鲁棒性，这引入了建立无线去中心化 FL 算法收敛性的耦合新颖挑战。为促进共识阶段，我们提出了一种基于 AirComp 的带梯度追踪与方差缩减的 DSGD（DSGT-VR）算法，并为 D2D 通信开发了预编码与解码策略。此外，我们证明了所提算法线性收敛，并在考虑信道衰落与噪声的情况下，建立了强凸且光滑损失函数的最优性间隙。理论结果表明，最优性间隙中的额外误差界依赖于设备数量。大量仿真验证了理论结果，并表明所提算法优于无线网上的其他基准去中心化 FL 算法。
引用
@article{arxiv.2106.08011,
title = {Over-the-Air Decentralized Federated Learning},
author = {Yandong Shi and Yong Zhou and Yuanming Shi},
journal= {arXiv preprint arXiv:2106.08011},
year = {2021}
}
备注
Accepted by ISIT 2021