面向通信高效联邦学习的模型更新自适应量化
机器学习
2021-02-10 v1 分布式、并行与集群计算
机器学习
摘要
在联邦学习中，客户端节点与中心聚合服务器之间的模型更新通信是一大瓶颈，尤其在带宽受限环境和高维模型中。梯度量化是减少每次模型更新所需通信比特数的有效手段，但代价是因随机梯度方差增大而产生更高的误差下限。本工作中，我们提出一种称为AdaQuantFL的自适应量化策略，通过在训练过程中改变量化级数，兼顾通信效率与低误差下限。深度神经网络训练实验表明，与固定量化级数设置相比，我们的方法能以少得多的通信比特数收敛，且对训练与测试精度几乎无影响或毫无影响。
引用
@article{arxiv.2102.04487,
title = {Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning},
author = {Divyansh Jhunjhunwala and Advait Gadhikar and Gauri Joshi and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2102.04487},
year = {2021}
}
备注
Accepted to ICASSP 2021