（含噪）随机梯度下降的均匀时间Wasserstein稳定性界

算法稳定性是一个重要的概念，已被证明在推导实用算法的泛化界方面十分有力。过去十年中，针对应用于不同损失函数类的不同算法，稳定性界的数量不断增加。尽管这些界揭示了优化算法的各种性质，但每种情况的分析通常需要不同的证明技巧和显著不同的数学工具。在本研究中，我们在学习理论与应用概率之间建立了新颖联系，并引入了证明随机优化算法Wasserstein稳定性界的统一准则。我们在随机梯度下降（SGD）上展示了该方法，并对强凸损失和带加性噪声的非凸损失获得了时间均匀稳定性界（即该界不随迭代次数增加而增大），其中我们使用单一证明技巧恢复了与先前工作类似的结果或将其推广到更一般的情况。我们的方法灵活且可推广到其他流行优化器，因为它主要需要构造Lyapunov函数，而这些函数在文献中通常 readily available。它还说明遍历性是获得时间均匀界的重要组成——对于凸或非凸损失，除非向迭代中注入额外噪声，否则可能无法实现。最后，我们略微延伸了分析技巧，证明了SGD在凸和非凸损失下（无额外加性噪声）的时间均匀界，据我们所知这是新颖的。