Adam 在非凸目标上的收敛性：松弛超参数与非遍历情形

Adam 是机器学习中常用的随机优化算法。然而，其收敛性仍未被完全理解，尤其在非凸设定下。本文聚焦于探索原始 Adam 收敛的超参数设置，并应对与实际应用相关的非遍历收敛挑战。主要贡献总结如下：首先，我们引入遍历与非遍历收敛的精确定义，其几乎涵盖随机优化算法的所有收敛形式。同时，我们强调非遍历收敛相对于遍历收敛的优越性。其次，我们为 Adam 的遍历收敛保证建立了更弱的充分条件，从而允许更松弛地选择超参数。在此基础上，我们实现了 Adam 的几乎必然遍历收敛率，其任意接近于 $o(1/\sqrt{K})$。更重要的是，我们首次证明 Adam 的最后一次迭代收敛到非凸目标的驻点。最后，在 Polyak-Lojasiewicz（PL）条件下，我们获得了函数值的非遍历收敛率 $O(1/K)$。这些发现为 Adam 求解非凸随机优化问题奠定了坚实的理论基础。