面向分布式数据挖掘的通信高效 Adam 型算法

分布式数据挖掘是一个新兴的研究课题，旨在利用大数据有效且高效地解决困难的数据挖掘任务，这些数据被划分并在不同工作节点上计算，而非集中于一个中央服务器。然而，当网络带宽有限或模型规模较大时，分布式学习方法常受通信瓶颈之苦。为解决这一关键问题，近期提出了许多梯度压缩方法以降低多种优化算法的通信成本。然而，当前将梯度压缩应用于自适应梯度方法（因其训练 DNN 的优异性能而被广泛采用）并未达到与 Sketched-SGD 同等的理想压缩率或收敛率。为应对此局限，本文提出一类利用草图化（sketching）的新型分布式 Adam 型算法（即 SketchedAMSGrad），草图化是一种有前景的压缩技术，可将通信成本从 $O(d)$ 降至 $O(\log(d))$，其中 $d$ 为参数维度。在我们的理论分析中，我们证明新算法实现了 $O(\frac{1}{\sqrt{nT}} + \frac{1}{(k/d)^2 T})$ 的快速收敛率，且每次迭代的通信成本为 $O(k \log(d))$。与单机 AMSGrad 相比，我们的算法可相对于工作节点数 $n$ 实现线性加速。在分布式范式下训练多种 DNN 的实验结果验证了我们所提算法的效率。