FedAQ: 通过联合上行与下行自适应量化实现通信高效的联邦边缘学习
机器学习
2024-10-23 v1 分布式、并行与集群计算
网络与互联网体系结构
信号处理
摘要
联邦学习是一种强大的机器学习范式，它利用客户端的数据和计算资源，同时保护客户端的数据隐私。然而，巨大的模型规模以及服务器与客户端之间的频繁聚合导致了显著的通信开销，使得在资源受限的无线网络中部署联邦学习面临挑战。在这项工作中，我们旨在通过使用量化来减轻通信开销。先前关于量化的研究主要集中在上行链路通信上，采用固定比特量化或自适应量化方法。在这项工作中，我们引入了一种整体方法，通过联合上行和下行自适应量化来减少通信开销。具体来说，我们在通信能量约束下，通过确定最优的上行和下行量化比特长度来优化学习收敛性。理论分析表明，最优量化级别取决于模型梯度或权重的范围。基于这一见解，我们为上行链路提出了一种递减趋势量化，为下行链路提出了一种递增趋势量化，这与训练过程中模型参数的变化相一致。实验结果表明，与现有方案相比，所提出的联合上行和下行自适应量化策略最多可节省66.7%的能量。
引用
@article{arxiv.2406.18156,
title = {FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization},
author = {Linping Qu and Shenghui Song and Chi-Ying Tsui},
journal= {arXiv preprint arXiv:2406.18156},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication