一种优于误差反馈的通信高效分布式学习替代方案
机器学习
2021-03-16 v2 机器学习
摘要
现代大规模机器学习应用需要将随机优化算法部署于分布式计算系统。此类系统的一个关键瓶颈是 worker 间交换信息(如随机梯度)的通信开销。在众多旨在缓解该问题的技术中,最成功的之一是基于误差反馈(EF)的压缩通信框架。EF 仍是唯一已知的能够处理由非无偏的压缩算子(如 Top-)所引起的误差的技术。本文中,我们提出一种新的、在理论与实践中均优于 EF 的替代方案,用于处理压缩算子。具体而言,我们提出一种可将任意压缩算子转化为诱导无偏压缩算子的构造。经此变换后,现有可处理无偏压缩算子的方法便可应用。我们表明,相较 EF,我们的方法带来了大幅改进,包括降低内存需求、更好的通信复杂度保证以及更少的假设。我们进一步将结果扩展至遵循节点任意分布的带部分参与的联邦学习,并展示了其益处。我们进行了若干数值实验以验证理论发现。
引用
@article{arxiv.2006.11077,
title = {A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning},
author = {Samuel Horváth and Peter Richtárik},
journal= {arXiv preprint arXiv:2006.11077},
year = {2021}
}
备注
10 pages, 7 figures, published as a conference paper at ICLR 2021