重尾噪声下的随机弱凸优化

越来越多的研究聚焦于在重尾梯度噪声下进行的随机一阶方法(SFOM)，这些噪声在实际深度学习模型训练中被观察到。本文我们关注两种梯度噪声：一种是亚 Weibull 噪声，另一种是假设其具有有界 $p$ 次中心矩($p$-BCM)的噪声，其中 $p\in (1, 2]$。后者由于在 $p\in (1, 2)$ 时出现无限方差而更具挑战性。在这两种梯度噪声假设下，已广泛研究了 SFOM 在凸优化和标准光滑优化情境下的预期内收敛和高概率收敛。然而，对于弱凸目标——这包括所有 Lipschitz 连续凸目标和光滑目标的类——我们对在这两种噪声下 SFOM的预期内收敛和高概率收敛的理解仍不完整。我们研究了在亚 Weibull 噪声下 vanilla 随机次梯度下降(SsGD)方法的高概率收敛，以及在 $p$-BCM 噪声下裁剪 SsGD的高概率和预期收敛。两种分析都在弱凸优化的上下文中进行。对于可能是非凸且非光滑的弱凸目标，我们的结果表明，vanilla SsGD 对于失效概率和迭代次数在亚 Weibull 噪声下的理论依赖性不会因光滑目标而下降。在 $p$-BCM 噪声下，我们的发现表明，弱凸目标的非光滑性和非凸性不会影响裁剪 SGD 对于失效概率的理论依赖性相对于光滑情况；然而，我们推导的样本复杂度比已知的光滑优化下界更差。