用于空中联邦学习的信道与梯度重要性感知设备调度
机器学习
2023-11-27 v4 分布式、并行与集群计算
摘要
联邦学习(FL)是一种流行的隐私保护分布式训练方案，多个设备通过上传本地模型更新协作训练机器学习模型。为提升通信效率，空中计算(AirComp)已被应用于FL，其利用模拟调制以借助无线电波的叠加特性，使大量设备可并发上传模型更新进行聚合。然而，上行信道噪声引起显著的模型聚合失真，这关键取决于设备调度并损害所学模型性能。在本文中，我们提出一种用于空中FL的概率设备调度框架PO-FL，以缓解信道噪声的负面影响，其中每个设备按一定概率被调度，其模型更新在聚合中通过该概率重新加权。我们证明了该聚合方案的无偏性，并展示了PO-FL在凸和非凸损失函数上的收敛性。我们的收敛界揭示设备调度通过通信失真和全局更新方差影响学习性能。基于收敛分析，我们进一步开发了信道与梯度重要性感知算法来优化PO-FL中的设备调度概率。大量仿真结果表明，所提出的具有信道与梯度重要性感知的PO-FL框架比基线方法收敛更快且产生更优模型。
引用
@article{arxiv.2305.16854,
title = {Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning},
author = {Yuchang Sun and Zehong lin and Yuyi Mao and Shi Jin and Jun Zhang},
journal= {arXiv preprint arXiv:2305.16854},
year = {2023}
}