基于耦合的随机梯度下降收敛诊断与步长方案

随机梯度下降（SGD）的收敛行为关键取决于步长配置。当使用恒定步长时，SGD迭代形成一个马尔可夫链，在初始瞬态阶段快速收敛。然而，当达到平稳状态时，迭代在最优值附近振荡而不再取得进展。本文研究了恒定步长SGD的收敛诊断，旨在开发一种有效的动态步长方案。我们提出了一种新颖的基于耦合的收敛诊断程序，通过监测两个耦合SGD迭代之间的距离来检测平稳性。我们的诊断统计量简单，并在理论上证明其能够跟踪从瞬态到平稳的转变。我们进行了大量的数值实验，并将我们的方法与各种现有方法进行了比较。观察到我们提出的基于耦合的步长方案在一系列凸和非凸问题上均取得了优越的性能。此外，我们的结果证明了该方法对广泛超参数的鲁棒性。