SGD 的偏差最优界：计算机辅助李雅普诺夫分析

随机梯度下降（SGD）的非渐近分析通常得到将偏差项和方差项分解的界。在这项工作中，我们聚焦于偏差分量，研究 SGD 在多大程度上能够匹配确定性梯度下降的最优收敛行为。假设目标函数仅具有（强）凸性和光滑性，我们推导出偏差最优的界，即偏差项与梯度下降的最坏情况速率一致。我们的结果适用于常数步长 $\gamma L \in (0,2)$ 的全范围，包括此前在无额外方差假设下未被探索的临界和大步长区域。这些界通过构造一个简单的李雅普诺夫能量获得，其单调性保证了尖锐的收敛性。为了设计该能量的参数，我们采用了性能估计问题框架，我们也用它为相关方差项的最优性提供了数值证据。