面向高效空中联邦学习的1-bit压缩感知
机器学习
2021-03-31 v1
摘要
针对协作用户的分布式学习，本文开发并分析了一种用于空中联邦学习（FL）的通信高效方案，该方案将1-bit压缩感知（CS）引入模拟聚合传输。为便于设计参数优化，我们通过推导空中联邦学习期望收敛速率的闭式表达式，从理论上分析了所提方案的有效性。理论结果揭示了由稀疏化、降维、量化、信号重建与噪声引起的聚合误差所导致的收敛性能与通信效率之间的权衡。随后，我们将基于1-bit CS的空中联邦学习表述为一个联合优化问题，通过worker调度与功率缩放策略的联合最优设计来减轻这些聚合误差的影响。提出了一种基于枚举的方法来求解这一非凸问题，该方法是最优的但随着设备数量增加在计算上变得不可行。为实现可扩展计算，我们借助交替方向乘子法（ADMM）技术开发了适用于大规模网络的高效实现。仿真结果表明，所提基于1-bit CS的空中联邦学习在大幅降低通信开销与传输时延的情况下，取得了与在无误差聚合上应用无压缩无量化的常规FL的理想情形相当的性能。
引用
@article{arxiv.2103.16055,
title = {1-Bit Compressive Sensing for Efficient Federated Learning Over the Air},
author = {Xin Fan and Yue Wang and Yan Huo and Zhi Tian},
journal= {arXiv preprint arXiv:2103.16055},
year = {2021}
}
备注
Part of this article is to be published in the IEEE ICC 2021 Workshop Proceedings