APMSqueeze：一种通信高效的 Adam 预条件动量 SGD 算法
分布式、并行与集群计算
2020-08-31 v2 机器学习
机器学习
摘要
Adam 是保证 BERT 与 ImageNet 等许多重要任务训练效率与精度的重要优化算法。然而，Adam 通常不与信息（梯度）压缩技术兼容。因此，通信往往成为并行化 Adam 的瓶颈。本文中，我们提出一种通信高效的 {\bf A}dam {\bf p}reconditioned {\bf m}omentum SGD 算法——命名为 APMSqueeze——通过误差补偿方法压缩梯度。所提算法在 epoch 数上取得与 Adam 相近的收敛效率，但显著减少了每 epoch 运行时间。就端到端性能（含全精度预条件步骤）而言，APMSqueeze 能够提供 {有时根据网络带宽可达 加速}。我们还对收敛性与效率进行了理论分析。
引用
@article{arxiv.2008.11343,
title = {APMSqueeze: A Communication Efficient Adam-Preconditioned Momentum SGD Algorithm},
author = {Hanlin Tang and Shaoduo Gan and Samyam Rajbhandari and Xiangru Lian and Ji Liu and Yuxiong He and Ce Zhang},
journal= {arXiv preprint arXiv:2008.11343},
year = {2020}
}