基于裁剪压缩与功率控制的空中联邦学习收敛性分析
信息论
2023-05-19 v1 机器学习
信号处理
math.IT
摘要
空中联邦学习（AirFL）部署的关键挑战之一，是设计能够符合共享信道的功率与带宽约束、同时相较于无噪声基线实现造成最小学习性能退化的机制。对于具有逐设备瞬时功率约束的加性白高斯噪声（AWGN）信道，已有工作证明了基于范数裁剪的功率控制机制的最优性。这是通过最小化满足 Polyak-{\L}ojasiewicz（PL）条件的光滑学习目标最优性间隙的上界完成的。在本文中，我们对基于范数裁剪的 AirFL（称为 AirFL-Clip）的发展做出两点贡献。首先，我们给出了 AirFL-Clip 适用于一般光滑非凸学习目标的收敛界。与现有结果不同，所推导的界不含依赖于具体运行的参数，从而支持离线评估。其次，我们将 AirFL-Clip 扩展以包含 Top-k 稀疏化与线性压缩。对于这一称为 AirFL-Clip-Comp 的广义协议，我们推导了一般光滑非凸学习目标的收敛界。我们论证并通过实验证明，该界中仅有的时变量可借助稀疏恢复算法已被充分研究的特性高效离线估计。
引用
@article{arxiv.2305.11135,
title = {Convergence Analysis of Over-the-Air FL with Compression and Power Control via Clipping},
author = {Haifeng Wen and Hong Xing and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2305.11135},
year = {2023}
}
备注
6 pages, 3 figures, submitted for possible publication