超球面量化：面向联邦学习的通信高效 SGD
机器学习
2019-11-26 v2 信息检索
机器学习
摘要
梯度通信的高成本是联邦学习的主要瓶颈，因为参与的用户设备带宽有限。现有梯度压缩算法主要为具有高速度网络的数据中心设计，最好能达到 的每轮迭代通信成本，其中 为模型大小。我们提出超球面量化（HSQ），一个可配置以实现通信效率与梯度精度之间连续权衡的通用框架。特别是在高压缩比端，HSQ 提供 的低每轮迭代通信成本，这有利于联邦学习。我们从理论上证明了 HSQ 的收敛性，并通过实验表明 HSQ 在不损害收敛精度的前提下显著降低了模型训练的通信成本。
引用
@article{arxiv.1911.04655,
title = {Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning},
author = {Xinyan Dai and Xiao Yan and Kaiwen Zhou and Han Yang and Kelvin K. W. Ng and James Cheng and Yu Fan},
journal= {arXiv preprint arXiv:1911.04655},
year = {2019}
}