带误差反馈的量化 Adam

在本文中，我们提出了在参数服务器模型中训练深度神经网络的分布式自适应随机梯度方法变体。为降低工作节点与服务器间的通信成本，我们将两类量化方案（即梯度量化和权重量化）引入所提出的分布式 Adam。此外，为降低量化操作引入的偏差，我们提出一种误差反馈技术来补偿量化梯度。理论上，在随机非凸设定下，我们证明了带梯度量化和误差反馈的分布式自适应梯度方法收敛到一阶驻点，且带权重量化和误差反馈的分布式自适应梯度方法在单工作节点和多工作节点模式下均收敛到与量化水平相关的点。最后，我们将提出的分布式自适应梯度方法应用于训练深度神经网络。实验结果证明了我们方法的有效性。