重尾噪声下裁剪随机次梯度法的改进分析

本文提供了对裁剪随机次梯度方法的新型最优（或近最优）收敛率。我们考虑在仅具有前 $p$ 阶矩的重尾噪声下，对可能在无界域上的非光滑凸问题进行求解。对于最后一次迭代，我们在目标值上建立了以期望收敛，收敛率为 $(\log^{1/p} k)/k^{(p-1)/p}$ 和 $1/k^{(p-1)/p}$，分别适用于即时和有限时域情形。我们还推导了沿平均迭代路径上目标值的新的收敛率（以期望和高概率），相较于现有结果提高了 $\log^{(2p-1)/p} k$ 的因子。这些结果应用于核方法的监督学习中，展示了理论的有效性。最后，我们给出初步实验。