AirFL-Mem：通过长期记忆改善通信-学习权衡
信息论
2023-10-31 v2 机器学习
math.IT
摘要
针对联邦学习（FL）固有的通信瓶颈，空中联邦学习（AirFL）已成为一种有前景的解决方案，但其受深度衰落条件所制约。本文提出 AirFL-Mem，一种通过实现长期记忆机制来减轻深度衰落影响的新型方案。我们给出了考虑长期记忆以及现有具短期记忆的 AirFL 变体在一般非凸目标下的收敛界。理论表明，AirFL-Mem 展现出与理想通信下联邦平均（FedAvg）相同的收敛速率，而现有方案的性能通常受误差地板限制。理论结果还被用于提出一种在瑞利衰落信道下用于功率控制截断阈值的新型凸优化策略。实验结果验证了分析，确认了长期记忆机制在缓解深度衰落方面的优势。
引用
@article{arxiv.2310.16606,
title = {AirFL-Mem: Improving Communication-Learning Trade-Off by Long-Term Memory},
author = {Haifeng Wen and Hong Xing and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2310.16606},
year = {2023}
}
备注
8 pages, 3 figures, submitted for possible publication