基于自适应梯度量化的异构边缘设备通信高效联邦学习
分布式、并行与集群计算
2022-12-19 v1
摘要
联邦学习(FL)使地理上分散的边缘设备（即客户端）能够在不共享本地数据集的情况下学习全局模型，其中每个客户端使用其本地数据执行梯度下降，并将梯度上传至中央服务器以更新全局模型。然而，FL面临每轮训练上传梯度所带来的巨大通信开销。为解决此问题，大多数现有研究对所有客户端采用固定且统一的量化来压缩梯度，既未因不同轮次梯度范数变化而寻求自适应量化，也未利用客户端异构性来加速FL。在本文中，我们提出一种新颖的FL自适应异构梯度量化算法(AdaGQ)，从两方面最小化挂钟训练时间：i) 自适应量化，利用梯度范数变化调整每轮训练中的量化分辨率；ii) 异构量化，为慢速客户端分配较低量化分辨率以使其训练时间与其他客户端对齐从而缓解通信瓶颈，为快速客户端分配较高量化分辨率以实现更好的通信效率与精度权衡。基于多种模型与数据集的评估验证了AdaGQ的益处，与基线算法（如FedAvg、QSGD）相比，总训练时间最多减少52.1%。
引用
@article{arxiv.2212.08272,
title = {Communication-Efficient Federated Learning for Heterogeneous Edge Devices Based on Adaptive Gradient Quantization},
author = {Heting Liu and Fang He and Guohong Cao},
journal= {arXiv preprint arXiv:2212.08272},
year = {2022}
}