关于SGD及其动量变体的一致有界性性质

随机梯度下降的一个理论上（也可能实际中）的问题是，其轨迹可能逃逸至无穷。在本文中，我们研究了随机梯度下降算法及其重要的动量变体在轨迹上的迭代量与函数值的一致有界性性质。在损失函数的光滑性与$R$-耗散性下，我们证明了广泛的步长族（包括广泛使用的步长衰减以及带（或不带）重启的余弦步长）会导致一致有界的迭代量与函数值。我们详细讨论了满足这些假设的若干重要应用，包括相位恢复问题、高斯混合模型以及一些神经网络分类器。我们进一步在广义耗散性下，针对尾部增长慢于二次函数的函数，推广了SGD及其动量变体的一致有界性。这包括一些有趣的应用，例如贝叶斯逻辑回归与带$\ell_1$正则化的逻辑回归。