空中联邦学习与通信的联合优化
机器学习
2022-02-11 v2 分布式、并行与集群计算
摘要
联邦学习(FL)是一种在保护数据隐私的同时利用丰富分布式数据的有吸引力范式。然而,非理想通信链路与有限传输资源可能阻碍快速且准确的FL实现。本文研究基于现实无线网络中模拟聚合传输的通信与FL联合优化。我们首先推导空中FL期望收敛速率的闭式表达式,从理论上量化模拟聚合对FL的影响。基于分析结果,我们建立了精确FL实现的联合优化模型,使参数服务器能够选择部分工作节点并确定合适的功率缩放因子。由于空中FL的实际设置存在不可观测参数,我们利用受控近似重新表述工作节点选择与功率分配的联合优化。最后,通过缩小搜索空间,以简单却最优的有限集搜索方法高效求解所得混合整数规划问题。仿真结果表明,针对现实无线模拟信道提出的方案优于基准方法,并达到在无噪无线信道上实现FL的理想情形可比的性能。
引用
@article{arxiv.2104.03490,
title = {Joint Optimization of Communications and Federated Learning Over the Air},
author = {Xin Fan and Yue Wang and Yan Huo and Zhi Tian},
journal= {arXiv preprint arXiv:2104.03490},
year = {2022}
}
备注
V2: Corrected typos and some technical content. Added some references. Added some theoretical proofs. Added some content to make our research applicable to more scenarios