基于Hessian辅助误差补偿的压缩梯度方法

大数据的出现导致优化算法的运行环境发生显著转变。以往的性能瓶颈在于计算，如今往往在于通信。已有若干梯度压缩技术被提出，以牺牲解精度为代价降低通信负载。近来，研究表明如何在优化算法中补偿压缩误差以改善解精度。尽管针对误差补偿算法的收敛性保证已建立，但用于量化所观测到的解精度提升的理论支撑非常有限。本文中，我们证明与其他现有方案不同，Hessian辅助误差补偿在二次问题上避免了压缩误差的累积。我们还给出了基于Hessian误差补偿的随机梯度下降的强收敛保证。数值实验凸显了基于Hessian误差补偿的优势，并表明当仅使用对角Hessian近似时也能获得类似的收敛改进。