基于压缩感知的空中联邦学习：稀疏化是否必要？
信息论
2023-10-06 v1 机器学习
信号处理
math.IT
摘要
空中(Over-the-Air, OtA)联邦学习(Federated Learning, FL)是指多个智能体应用OtA计算将模型更新传输至公共边缘服务器的FL系统。OtA计算的两个重要特征，即线性处理与信号级叠加，促使人们使用基于压缩感知(Compressed Sensing, CS)的线性压缩方法来减少信道上传输的数据样本数量。先前在OtA FL中应用CS方法的工作主要假设原始模型更新向量是稀疏的，或在压缩前已被稀疏化。然而，在相同总功率约束下，基于CS重构的线性压缩是否比直接发送稀疏化更新向量中的非零元素更有效，尚不清楚。在本研究中，我们考察并比较了若干含或不含稀疏化的通信设计。我们的结果表明，压缩前的稀疏化并非必要。相反，无线性压缩的稀疏化也能取得比通常考虑的二者结合方案更优的性能。
引用
@article{arxiv.2310.03410,
title = {Over-the-Air Federated Learning with Compressed Sensing: Is Sparsification Necessary?},
author = {Adrian Edin and Zheng Chen},
journal= {arXiv preprint arXiv:2310.03410},
year = {2023}
}
备注
6 pages, 8 figures, submitted for possible conference publication