面向分布式优化的误差补偿无环 SVRG、Quartz 与 SDCA
最优化与控制
2021-09-22 v1
摘要
梯度的通信是大规模机器学习模型分布式训练中的关键瓶颈。为降低通信成本，常采用梯度压缩（如稀疏化与量化）和误差补偿技术。本文提出并研究了该方向上的三种新高效方法：误差补偿无环 SVRG 方法（EC-LSVRG）、误差补偿 Quartz（EC-Quartz）和误差补偿 SDCA（EC-SDCA）。我们的方法可与任意收缩压缩器（如 TopK 压缩器）配合使用，并对 EC-LSVRG 在复合情形与光滑情形下的凸优化问题进行了分析。我们证明了两种情形下的线性收敛速率，并表明在光滑情形下该速率对与收缩压缩器相关参数的依赖更优。进一步，我们证明在光滑情形及某些条件下，误差补偿无环 SVRG 具有与原始无环 SVRG 方法相同的收敛速率。随后我们表明，EC-Quartz 与 EC-SDCA 在复合情形下的收敛速率与光滑情形下的 EC-LSVRG 相当。最后，数值实验展示了我们所提方法的效率。
引用
@article{arxiv.2109.10049,
title = {Error Compensated Loopless SVRG, Quartz, and SDCA for Distributed Optimization},
author = {Xun Qian and Hanze Dong and Peter Richtárik and Tong Zhang},
journal= {arXiv preprint arXiv:2109.10049},
year = {2021}
}
备注
63 pages, 76 figures