随机非凸优化中含重尾噪声的紧下界与最优算法

我们研究了在含重尾噪声下的随机非凸优化。在此设置下，随机梯度仅具有有限的 $p$ 次中心矩（$p$-BCM），其中 $p \in (1,2]$。基于 Arjevani 等人（2022）在随机优化中的基础工作，我们在宽松的均方光滑性（$q$-WAS）和 $\delta$-相似性（$(q, \delta)$-S）假设下，建立了所有一阶方法的紧样本复杂度下界，允许任何指数 $q \in [1,2]$而非标准的 $q=2$。这些结果大幅扩展了现有下界的适用范围。为补充这些结果，我们表明归一化随机梯度下降并带动量方差减少（NSGD-MVR）在期望意义上匹配这些下界。除期望保证外，我们引入了一种新算法 Double-Clipped NSGD-MVR，允许在比前述工作更弱的假设下推导高概率收敛率。最后，对于满足有限 $q$ 次中心矩假设的二阶方法（其中 $q \in [1,2]$，允许 $q \neq p$）的随机 Hessian，我们建立了比以往工作更紧的下界，超越仅考虑 $p=q$ 的 Sadiev 等人（2025）工作，并给出更强的收敛指数。综上，这些结果对重尾情形下的随机非凸优化提供了近乎完整的复杂度特征。