随机梯度裁剪的稳定性与收敛性：超越 Lipschitz 连续与光滑性
最优化与控制
2021-06-11 v2 机器学习
摘要
当应用于不具有 Lipschitz 连续和/或有界梯度的函数时，随机梯度算法常不稳定。梯度裁剪是一种简单有效的技术，可稳定易发梯度爆炸问题的训练过程。尽管其应用广泛，梯度裁剪启发式方法的收敛性质仍鲜为人知，尤其对于随机问题。本文针对具有快速增长的次梯度的非光滑凸函数，建立了裁剪随机（次）梯度法（SGD）的定性与定量收敛结果。我们的分析表明裁剪增强了 SGD 的稳定性，且裁剪 SGD 算法在许多情形下具有有限收敛速率。我们还研究了带动量的裁剪方法在标准假设下对弱凸问题的收敛性，该方法以裁剪 SGD 为特例。借助一种新颖的 Lyapunov 分析，我们表明所提方法达到了此类问题已知最优速率，证明了裁剪方法在该情形下同样有效。数值结果印证了我们的理论进展。
引用
@article{arxiv.2102.06489,
title = {Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness},
author = {Vien V. Mai and Mikael Johansson},
journal= {arXiv preprint arXiv:2102.06489},
year = {2021}
}
备注
ICML-2021