重尾噪声下带动量的随机梯度下降的算法稳定性

理解重尾噪声下优化算法的泛化性质已获得越来越多的关注。然而，现有的理论结果主要集中在随机梯度下降 (SGD) 上，对 SGD 之外的重尾优化器的分析仍然缺失。在这项工作中，我们为带动量的 SGD (SGDm) 在重尾梯度噪声下建立了泛化界。我们首先考虑 SGDm 的连续时间极限，即一个 Lévy 驱动的随机微分方程 (SDE)，并为一类潜在非凸损失函数建立了定量的 Wasserstein 算法稳定性界。我们的界揭示了一个显著的观察结果：对于二次损失函数，我们证明 SGDm 在存在重尾噪声时具有更差的泛化界，这表明动量和重尾的相互作用可能对泛化有害。然后，我们将分析扩展到离散时间，并推导出一个关于时间一致的离散化误差界，据我们所知，这是针对具有退化噪声的 SDE 的此类首个结果。该结果表明，通过适当选择步长，离散动力学保留了极限 SDE 的泛化性质。我们在合成二次问题和神经网络上验证了我们的理论。