FedVQCS：基于矢量量化压缩感知的联邦学习
信息论
2023-07-04 v3 分布式、并行与集群计算
信号处理
math.IT
摘要
本文受矢量量化压缩感知启发，提出了一种通信高效的联邦学习（FL）新框架。所提框架的基本策略是：先降维再矢量量化，以压缩各设备的本地模型更新；随后参数服务器通过对压缩本地模型更新聚合结果应用稀疏信号恢复算法来重构全局模型更新。通过结合降维与矢量量化的优势，所提框架有效降低了本地更新传输的通信开销。矢量量化器的设计及压缩关键参数均经过优化，以在无线链路容量约束下最小化全局模型更新的重构误差。考虑到重构误差，本文还分析了所提框架在非凸损失函数下的收敛速率。在 MNIST 与 FEMNIST 数据集上的仿真结果表明，当本地模型更新传输的通信开销为每本地模型条目 0.1 比特时，所提框架相较最先进的 FL 框架分类准确率提升超过 2.4%。
引用
@article{arxiv.2204.07692,
title = {FedVQCS: Federated Learning via Vector Quantized Compressed Sensing},
author = {Yongjeong Oh and Yo-Seb Jeon and Mingzhe Chen and Walid Saad},
journal= {arXiv preprint arXiv:2204.07692},
year = {2023}
}