延迟超鞅收敛引理及其在带Nesterov动量的随机逼近中的应用

本文聚焦于带Nesterov动量的随机逼近的收敛性。Nesterov加速在机器学习中因其降低计算复杂度的优势而被广泛应用。然而，加速度项中的延迟信息仍是实现几乎sure收敛的挑战。基于延迟超鞅收敛引理，我们给出一系列几乎sure收敛框架。我们的框架适用于多种常用随机迭代方法，如随机次梯度法、通用随机优化的proximal Robbins-Monro方法以及复合优化的proximal随机次梯度法。通过本框架的应用，这些带有Nesterov加速的方法均实现了几乎sure收敛。我们进行了三组数值实验以检验理论结果。