重尾噪声下裁剪SGD的高概率收敛

尽管随机梯度方法的收敛行为在期望意义下已被充分理解，但对其高概率收敛的理解仍存在许多空白，其中收敛速率与所需成功概率参数呈对数依赖关系。在重尾噪声设定下，即随机梯度噪声仅对某个 $p\in(1,2]$ 具有有界 $p$ 阶矩时，现有工作只能对带梯度裁剪的随机梯度下降（SGD）变体给出期望意义下的界，或仅在特殊情况（如 $p=2$）或额外假设（如随机梯度具有有界非中心矩）下给出高概率界。本文利用一种新颖的分析框架，在仅使用最小假设的条件下，针对凸和非凸光滑目标，给出了重尾噪声下带裁剪SGD的新颖且时间最优（至多相差对数因子）的高概率收敛界。