面向通信高效分布式优化的双重量化
最优化与控制
2019-05-28 v4 机器学习
机器学习
摘要
现代机器学习模型的分布式训练在同步随机梯度和模型参数时面临高通信开销的问题。在本文中，为了降低通信复杂度，我们提出了双重量化，这是一种对模型参数和梯度同时进行量化的一般方案。在此一般方案下，提出了三种通信高效的算法。具体而言，(i) 我们提出了一种具有异步并行性的低精度算法AsyLPG；(ii) 我们探索了将梯度稀疏化与双重量化相结合，并开发了Sparse-AsyLPG；(iii) 我们表明双重量化也可以通过动量技术加速，并设计了加速的AsyLPG。我们为这些算法建立了严格的性能保证，并在多服务器测试平台上进行了实验，证明我们的算法能够在不降低性能的情况下有效节省传输比特数。
引用
@article{arxiv.1805.10111,
title = {Double Quantization for Communication-Efficient Distributed Optimization},
author = {Yue Yu and Jiaxiang Wu and Longbo Huang},
journal= {arXiv preprint arXiv:1805.10111},
year = {2019}
}