无延迟界限的分布式异步广义动量算法

异步优化算法通常需要延迟界限才能证明其收敛性，但这些界限在实际中往往难以获得。已有的无需延迟界限的算法往往收敛速度较慢。因此，我们引入一种新型的分布式广义动量算法，具备快速收敛能力且允许任意延迟。该算法包含了Nesterov加速梯度算法和重量算法等。我们首先发展该算法的参数条件，以确保其渐近收敛。随后我们证明其收敛率是处理器执行的计算和通信次数的线性函数（我们对此进行了精确说明）。仿真将该算法与梯度下降、重量算法和Nesterov加速梯度算法进行比较，采用Fashion-MNIST数据集上的分类问题。对于各种具有无界延迟的场景，该广义动量算法的收敛所需的迭代次数至少比梯度下降少71%，比重量算法少41%，比Nesterov加速梯度算法少19%。