针对非凸优化中重尾噪声的符号算子：在 $(L_0, L_1)$-光滑性下的高概率界限

近年来，非凸优化问题更常以广义 $(L_0, L_1)$-光滑性假设来描述，而非标准假设。同时，这些问题中使用的严重损坏数据已增加了对能够处理重尾噪声（即具有有界 $\kappa$ 次矩的噪声）的方法需求。为了回应这些现实趋势和挑战，我们在此设置下探索符号方法，并在与其他流行解决方案（如截断或归一化）之间 demonstrate 其有效性。在理论上，我们证明了在 $(L_0, L_1)$-光滑性和重尾噪声下首个已知的高概率收敛界限。对于标准光滑性，这些界限对于符号方法也同样新颖。特别是，带批量处理的 SignSGD 达到样本复杂度 $\tilde{O}\left(\left(\frac{\Delta L_0d}{\varepsilon^2} + \frac{\Delta L_1d^\frac{3}{2}}{\varepsilon}\right)\left[1 + \left(\frac{\sigma}{\varepsilon}\right)^\frac{\kappa}{\kappa-1}\right]\right), \kappa \in (1,2]$。在对称噪声假设下，SignSGD 带多数投票可在整个 $\kappa \in (0,2]$ 范围内稳健工作，复杂度为 $\tilde{O}\left(\left(\frac{\Delta L_0d}{\varepsilon^2} + \frac{\Delta L_1d^\frac{3}{2}}{\varepsilon}\right)\left[\frac{1}{\kappa^2} + \frac{\sigma^2}{\varepsilon^2}\right]\right)。我们也获得了参数无关设置、Polyak-Lojasiewicz 函数和动量方法（在期望值）的结果。我们的理论发现得到实验支持，即在训练大型语言模型时，符号方法在性能上优于截断和归一化。