误差反馈修复 SignSGD 及其他梯度压缩方案
机器学习
2019-05-30 v2 最优化与控制
机器学习
摘要
基于符号的算法（如 signSGD）已被提议作为一种有偏梯度压缩技术，以缓解跨多工作节点训练大型神经网络时的通信瓶颈。我们给出简单的凸反例，其中 signSGD 不收敛到最优解。此外，即便收敛，与 SGD 相比 signSGD 的泛化性能可能很差。这些问题源于符号压缩算子的有偏性。我们随后展示使用误差反馈，即将压缩算子所产生的误差纳入下一步，可克服这些问题。我们证明，采用任意压缩算子的算法 EF-SGD 在无任何额外假设下达到与 SGD 相同的收敛速率。因此 EF-SGD 免费实现了梯度压缩。我们的实验充分证实了该理论，并表明误差反馈改善了收敛性与泛化性。代码见 \url{https://github.com/epfml/error-feedback-SGD}。
引用
@article{arxiv.1901.09847,
title = {Error Feedback Fixes SignSGD and other Gradient Compression Schemes},
author = {Sai Praneeth Karimireddy and Quentin Rebjock and Sebastian U. Stich and Martin Jaggi},
journal= {arXiv preprint arXiv:1901.09847},
year = {2019}
}
备注
ICML 2019 (long talk)