误差补偿方法的催化剂加速带来更优通信复杂度
最优化与控制
2023-01-25 v1
摘要
通信开销是大尺度分布式学习中众所周知的的关键瓶颈，而一类特别成功的克服该瓶颈的方法基于通信压缩的思想。一些最具实际效果的梯度压缩器（如 TopK）是有偏的，这会导致收敛问题，除非采用精心设计的误差补偿/反馈机制。因此，误差补偿是分布式学习文献中的一项基本技术。在最近的发展中，Qian 等人（NeurIPS 2021）表明误差补偿机制可以与加速/动量相结合，而后者是另一种关键且高度成功的优化技术。特别地，他们开发了误差补偿无环 Katyusha（ECLK）方法，并证明了在强凸情形下的加速线性速率。然而，他们的速率对压缩器参数的依赖关系与非加速误差补偿方法中可获得的最佳依赖关系不匹配。我们的工作解决了这一问题。我们利用催化剂加速技术提出了几种新的加速误差补偿方法，并获得了与非加速误差补偿方法中对压缩器参数的最佳依赖关系相差至多对数项的结果。
引用
@article{arxiv.2301.09893,
title = {Catalyst Acceleration of Error Compensated Methods Leads to Better Communication Complexity},
author = {Xun Qian and Hanze Dong and Tong Zhang and Peter Richtárik},
journal= {arXiv preprint arXiv:2301.09893},
year = {2023}
}
备注
42 pages, 21 figures