非凸损失景观中重尾SGD的全局动力学：刻画与控制
机器学习
2025-10-27 v1 概率论
摘要
随机梯度下降（SGD）及其变体支撑着现代人工智能。然而，其理论理解远落后于实证成功。人们普遍认为SGD具有一种奇特的能力，能够避免损失景观中与泛化性能差相关的尖锐局部极小值。为了揭开这一谜团并进一步增强SGD的这种能力，必须超越传统的局部收敛分析，全面理解SGD的全局动力学。在本文中，我们基于Wang和Rhee（2023）近期的大偏差和亚稳态分析，开发了一套技术工具，获得了重尾SGD全局动力学的精确刻画。特别地，我们揭示了深度学习中的一个迷人现象：通过在训练阶段注入然后截断重尾噪声，SGD几乎可以完全避免尖锐极小值，并在测试数据上实现更好的泛化性能。仿真和深度学习实验证实了我们的理论预测：带有梯度裁剪的重尾SGD能够找到几何形状更平坦的局部极小值，并实现更好的泛化性能。
引用
@article{arxiv.2510.20905,
title = {Global Dynamics of Heavy-Tailed SGDs in Nonconvex Loss Landscape: Characterization and Control},
author = {Xingyu Wang and Chang-Han Rhee},
journal= {arXiv preprint arXiv:2510.20905},
year = {2025}
}
备注
60 pages, 2 figures, 4 tables