大规模分布式网络中快速且通信高效的算法探索
最优化与控制
2019-03-01 v2
摘要
随着模型规模和数据样本量的增加，通信开销已成为数据并行网络中的一个显著瓶颈。在这项工作中，我们提出了一种具有量化梯度的新算法 LPC-SVRG 及其加速版本 ALPC-SVRG，以在保持与未量化算法相同收敛性的同时有效降低通信复杂度。具体而言，我们在量化方案中构建了启发式梯度裁剪技术，并表明相关文献 [3, 33, 38] 中的无偏量化方法是我们方法的特例。我们在加速算法 ALPC-SVRG 中引入双重采样，以充分结合全精度与低精度梯度，从而在更少通信开销下实现加速。我们的分析聚焦于非光滑复合问题，这使得我们的算法更具通用性。在线性模型和深度神经网络上的实验验证了算法的有效性。
引用
@article{arxiv.1901.08924,
title = {Exploring Fast and Communication-Efficient Algorithms in Large-scale Distributed Networks},
author = {Yue Yu and Jiaxiang Wu and Junzhou Huang},
journal= {arXiv preprint arXiv:1901.08924},
year = {2019}
}