ErrorCompensatedX：面向方差缩减算法的误差补偿方法
分布式、并行与集群计算
2021-08-05 v1
摘要
通信成本是分布式学习可扩展性的一个主要瓶颈。降低通信成本的一种方法是在通信过程中压缩梯度。然而，直接压缩梯度会减慢收敛速度，并且对于偏置压缩，所得算法可能发散。近期工作通过加回前一步的压缩误差，针对随机梯度下降解决了这一问题。该思想被进一步扩展到一类方差缩减算法，其通过对所有历史梯度取移动平均来降低随机梯度的方差。然而，我们的分析表明，如现有工作那样仅加回前一步的压缩误差，并不能完全补偿压缩误差。因此，我们提出了 ErrorCompensatedX，它利用前两步的压缩误差。我们证明 ErrorCompensatedX 能够达到与不压缩训练相同的渐近收敛速率。此外，我们为这类方差缩减算法提供了一个统一的理论分析框架，涵盖有误差补偿和无误差补偿的情况。
引用
@article{arxiv.2108.02102,
title = {ErrorCompensatedX: error compensation for variance reduced algorithms},
author = {Hanlin Tang and Yao Li and Ji Liu and Ming Yan},
journal= {arXiv preprint arXiv:2108.02102},
year = {2021}
}