关于随机梯度下降带有扰动前向-后向传递过程收敛性的研究
最优化与控制
2026-02-25 v1 机器学习
机器学习
摘要
我们研究了针对具有 N 个顺序算子的复合优化问题的随机梯度下降 (SGD)，其中前向和后向传递均受到扰动。不同于传统分析将梯度噪声视为可加且局部的扰动，中间输出和梯度的扰动会在计算图中级联放大，随算子数量的几何级数增长。我们提供了该设置的第一个全面理论分析。具体而言，我们刻画了前向和后向扰动在单个梯度步骤中的传播与放大机制，推导了针对一般非凸目标及满足 Polyak--\L{}ojasiewicz 条件函数的收敛保证，并指出扰动不会劣化渐近收敛阶的条件。作为副产品，我们的分析为深度学习中广泛观察到的梯度尖峰现象提供了理论解释，精确刻画了训练在尖峰后恢复或发散的条件。CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet-1K 上的实验验证了我们的理论，展示了预测的尖峰行为以及前向与后向扰动的非对称敏感性。
引用
@article{arxiv.2602.20646,
title = {On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes},
author = {Boao Kong and Hengrui Zhang and Kun Yuan},
journal= {arXiv preprint arXiv:2602.20646},
year = {2026}
}
备注
34 pages