Heavy-Tailed Noise下非线性SGD的高概率收敛率分析：通过对称化方法

本文研究了在非凸优化中存在重尾噪声时的SGD类方法的高概率收敛问题。为应对重尾噪声，本文考虑一种通用的黑箱非线性框架，包含诸如sign、clipping、normalization及其光滑版本等非线性函数。我们的第一项结果表明，非线性SGD (N-SGD) 在任意具有无界矩且满足对称概率密度函数(PDF)条件的噪声下，能够达到$\widetilde{\mathcal{O}}(t^{-1/2})$的收敛率。关键在于，N-SGD的尾部分布呈指数衰减，与在轻尾噪声下使用的线性SGD性能相当。为处理非对称噪声，我们提出了两种新型估计器，基于噪声对称化的思想。第一种称为对称化梯度估计器(Symmetrized Gradient Estimator, SGE)，假设在训练开始时可获得无噪声梯度；第二种称为小批量对称化梯度估计器(Mini-batch SGE, MSGE)，通过小批量样本来估计无噪声梯度。结合非线性框架后，我们得到N-SGE和N-MSGE方法，两者均能以与N-SGD相同的收敛率和指数衰减的尾部分布，适用于满足轻微技术条件的非对称噪声（其中N-MSGE还要求噪声矩数为$p \in (1,2]$），并且允许噪声矩数无界。与假设噪声具有有限$p$次矩的已有工作相比，我们的工作：1)基于一种新颖的对称化方法；2)提供了统一的框架并放宽了矩数条件；3)表明N-SGD和N-SGE的最优oracle复杂度优于已有工作（当$p<2$时），而N-MSGE的复杂度接近已有工作。与假设对称噪声且矩数无界的已有工作相比，我们：1)提供了更精细的分析和改进的收敛率；2)支持状态依赖的对称噪声；3)将强有力的保证扩展到非对称噪声。