以（微）结构打破下界：重尾噪声下非凸随机优化的加速

我们考虑重尾噪声机制下目标光滑但不必凸的随机优化问题，其中假设随机梯度的噪声具有有界的 $p$ 阶矩（$p\in(1,2]$）。Zhang 等人（2020）首次证明了收敛（期望意义下）的 $\Omega(T^{\frac{1-p}{3p-2}})$ 下界，并给出了一个匹配该最优速率的简单裁剪算法。Cutkosky 和 Mehta（2021）提出了另一种算法，被证明可达到近乎最优的高概率收敛保证 $O(\log(T/\delta)T^{\frac{1-p}{3p-2}})$，其中 $\delta$ 为失败概率。然而，这一理想保证仅在随机梯度本身 $p$ 阶矩有界这一附加假设下建立，而该假设即便对于二次目标与中心化高斯噪声也不成立。本工作中，我们首先改进了 Cutkosky 和 Mehta（2021）算法的分析，在无上述限制性假设下获得了相同的近乎最优高概率收敛速率 $O(\log(T/\delta)T^{\frac{1-p}{3p-2}})$。接着，有趣的是，我们表明仅需极少量结构，即假设目标函数 $F(x)$ 形如 $\mathbb{E}_{\Xi\sim\mathcal{D}}[f(x,\Xi)]$（可谓最广泛适用的随机优化问题类），便可达到快于下界 $\Omega(T^{\frac{1-p}{3p-2}})$ 的速率。对于此类问题，我们提出了首个方差缩减加速算法，并证明其在温和条件下保证高概率收敛速率 $O(\log(T/\delta)T^{\frac{1-p}{2p-1}})$，快于 $\Omega(T^{\frac{1-p}{3p-2}})$。值得注意的是，即便退化为有限方差情形，我们的结果也给出了（近）最优高概率速率 $O(\log(T/\delta)T^{-1/3})$。