重尾梯度噪声下随机梯度下降的首离时分析

随机梯度下降（SGD）因其计算效率和良好的泛化性质而被广泛应用于机器学习。近来，经验研究表明在若干深度学习设定下梯度噪声呈现出非高斯、重尾的行为。这表明梯度噪声可用 $\alpha$-稳定分布建模，这是一类出现在广义中心极限定理中的重尾分布。在此背景下，SGD 可视为由 Lévy 运动驱动的随机微分方程（SDE）的离散化，且该 SDE 的亚稳态结果可用于阐明 SGD 的行为，尤其在“偏好宽极小值”方面。尽管该方法为分析 SGD 提供了新视角，其局限性在于：由于时间离散化，SGD 的行为可能与其连续时间极限有显著差异。直观上，仅当离散化步长足够小时，这两类系统的行为才预期彼此相似；然而据我们所知，尚无从理论理解步长应取多小才能保证离散化系统继承连续时间系统的性质。本研究中，我们提供形式化理论分析，推导出离散时间系统的亚稳态行为与其连续时间极限相似的步长显式条件。我们证明两系统在小时长下行为确实相似，并明确了误差如何依赖于算法与问题参数。我们用合成模型与神经网络上的仿真说明了结果。