Efficient-Adam:通信高效的分布式 Adam

分布式自适应随机梯度方法已广泛用于大规模非凸优化,例如训练深度学习模型。然而,其在非凸设定下求解 $\varepsilon$-驻点的通信复杂度却鲜有分析。本文中,我们提出参数服务器模型下用于随机非凸优化的新型通信高效分布式 Adam,称为 Efficient-Adam。具体而言,我们将双向量化方案引入 Efficient-Adam 以降低工作节点与服务器间的通信开销。同时,我们采用双向误差反馈策略,分别降低双向量化在服务器与工作节点上引起的偏差。此外,我们建立了所提 Efficient-Adam 在一类量化算子下的迭代复杂度,并进一步刻画了当其达到 $\varepsilon$-驻点时服务器与工作节点间的通信复杂度。最后,我们将 Efficient-Adam 应用于求解一个玩具随机凸优化问题,并在真实视觉与语言任务上训练深度学习模型。大量实验结合理论保证印证了 Efficient-Adam 的优势。