多项式洛亚斯维茨条件下 SGD 的高概率界限

我们提出了在多项式洛亚斯维茨条件下，对随机梯度下降（SGD）首个均匀时间高概率界限，其中梯度噪声包含马尔可夫成分与鞅差成分。该结果显著拓宽了有限时保证的适用范围，因为多项式洛亚斯维茨条件在众多机器学习与深度学习模型中常见，而马尔可夫噪声则自然出现在分布式优化与在线系统识别问题中。我们进一步允许噪声幅度随函数值增长，从而支撑分析许多实际采样策略。除高概率保证外，我们还建立了期望次优性的匹配 $1/k$ 衰减率。我们的证明技术依赖于泊松方程处理马尔可夫噪声，以及概率归纳法应对目标函数缺乏几乎sure界限。最后，我们通过分析三个实际优化问题来展示框架的适用性：基于令牌的分布式线性回归、用于隐私放大的数据标签学习，以及在线系统识别。