论梯度流随机扰动的快速收敛

本文考虑梯度流的（乘性噪声型）小随机扰动。我们证明，在温和条件下，当势函数为满足额外强鞍点条件的Morse函数时，受扰动的梯度流平均在$O(\ln (\varepsilon^{-1}))$时间内收敛到局部极小值的邻域，其中$\varepsilon$为随机扰动的尺度。在时间尺度变换下，这表明对于近似随机梯度法的扩散过程，逃离所有鞍点仅需（至多对数因子）关于逆步长的线性时间。这可视作离散时间随机梯度法快速收敛的一种体现，后者在现代统计机器学习中被大量使用。