clipped随机一阶方法的偏差-方差权衡：从有界方差到无限均值

随机优化是现代机器学习的基础。近期研究将随机一阶方法（SFOMs）的研究从轻尾噪声扩展到重尾噪声，这在实践中频繁出现，裁剪（clipping）已成为控制重尾梯度的关键技术。大量的理论进展进一步表明，SFOMs的预言机复杂度取决于噪声的尾指数 $\alpha$。然而，现有的复杂度结果通常仅涵盖 $\alpha \in (1,2]$ 的情况，即噪声具有有限均值的区域，而当 $\alpha$ 趋近于1时，复杂度界趋于无穷。本文处理噪声尾指数 $\alpha\in(0,2]$ 的一般情况，涵盖从有界方差噪声到无限均值噪声的各个区域，其中后一种情况很少被研究。通过对梯度裁剪中偏差-方差权衡的全新分析，我们证明当噪声尾的对称性度量受到控制时，裁剪后的SFOMs在任意尾指数 $\alpha \in (0,2]$ 的重尾噪声下均实现了改进的复杂度保证。我们对偏差-方差权衡的分析不仅为裁剪后的SFOMs在整个尾指数范围内提供了新的统一复杂度保证，而且易于应用，可以与轻尾噪声下的经典分析相结合，从而在重尾噪声下建立预言机复杂度保证。最后，数值实验验证了我们的理论发现。