具有平滑截断的类 Adam 算法达到全局最小值：基于泛函随机微分方程遍历性的分析

在本文中，我们证明了具有平滑截断的 Adam 型算法能够逼近正则化非凸损失函数的全局最小化器。通过添加平滑截断并将状态空间取为所有轨迹的集合，我们可以对该算法应用马尔可夫半群的遍历理论，并研究其渐近行为。我们在本文中建立的遍历理论，将该算法的收敛性、泛化误差和离散化误差的评估问题，简化为评估两个具有不同漂移系数的泛函随机微分方程（SDE）之间差异的问题。作为我们分析的结果，我们证明了该算法最小化正则化非凸损失函数的误差形式为 $n^{-1/2}$、$\eta^{1/4}$、$\beta^{-1} \log (\beta + 1)$ 和 $e^{- c t}$。这里，$c$ 是常数，$n$、$\eta$、$\beta$ 和 $t$ 分别表示训练数据集大小、学习率、逆温度和时间。