面向联邦学习的 Wyner-Ziv 梯度压缩
机器学习
2021-11-17 v1
摘要
由于客户端通信资源有限且模型参数规模庞大，大规模分布式学习任务面临通信瓶颈。梯度压缩是通过传输压缩梯度来降低通信负载的有效方法。鉴于随机梯度下降场景中相邻轮次间的梯度因旨在学习同一模型而可能高度相关，本文提出一种实用的联邦学习梯度压缩方案，该方案利用历史梯度压缩当前梯度，并基于 Wyner-Ziv 编码但不作任何概率假设。我们还在真实数据集上实现了所提梯度量化方法，其性能优于先前方案。
引用
@article{arxiv.2111.08277,
title = {Wyner-Ziv Gradient Compression for Federated Learning},
author = {Kai Liang and Huiru Zhong and Haoning Chen and Youlong Wu},
journal= {arXiv preprint arXiv:2111.08277},
year = {2021}
}