随机哈密顿下降方法的几乎必然收敛
最优化与控制
2025-07-01 v3
摘要
梯度归一化和软裁剪是两种处理 SGD（带动量）不稳定性问题和改进收敛性的流行技术。本文通过耗散哈密顿系统的视角研究此类方法。梯度归一化和某些类型的软裁剪算法可被视为（随机）隐式-显式 Euler 离散化的耗散哈密顿系统，其中动能函数决定所应用的裁剪类型。我们运用动力系统理论，统一地证明了在几种不同情形下，这些方案几乎必然收敛于目标函数的平稳点：a) 对于 -光滑目标函数，当随机梯度的方差可能为无穷时，b) 在 -光滑性假设下，对于重尾噪声具有有限方差的情况，c) 对于 -光滑函数，在经验风险最小化设置下，当方差可能为无穷但期望为有限时。
引用
@article{arxiv.2406.16649,
title = {Almost sure convergence of stochastic Hamiltonian descent methods},
author = {Måns Williamson and Tony Stillfjord},
journal= {arXiv preprint arXiv:2406.16649},
year = {2025}
}