随机梯度下降中逃离尖锐谷底的瞬态学习动力学

随机梯度下降是深度学习的核心，但其偏好更平坦、更具泛化性解的动力学起源仍不清楚。在此，通过分析 SGD 的学习动力学，我们识别出一种控制解选择的非平衡机制。数值实验揭示了一个瞬态探索阶段，在此阶段 SGD 轨迹反复逃离尖锐谷底并向损失景观中更平坦的区域转移。通过使用一个易于处理的物理模型，我们表明 SGD 噪声将景观重塑为偏好平坦解的有效势能。关键在于，我们揭示了一种瞬态冻结机制：随着训练进行，不断增长的能垒抑制了谷间跃迁，并最终将动力学困在单一盆地内。增加 SGD 噪声强度会延迟这种冻结，从而增强向更平坦极小值的收敛。综合而言，这些结果提供了一个连接学习动力学、损失景观几何与泛化性的统一物理框架，并为设计更有效的优化算法提供了原则。