凸$(L_0,L_1)$-光滑函数上裁剪SGD的收敛性
最优化与控制
2025-06-04 v2
摘要
我们研究了在称为-光滑性的广义光滑性假设下，凸函数上带梯度裁剪的随机梯度下降（SGD）。使用梯度裁剪，我们建立了一个高概率收敛速率，该速率在光滑情形下与SGD速率匹配，直至多对数因子和附加项。我们还提出了一种带梯度裁剪的自适应SGD变体，该变体实现了相同的保证。我们进行了实证实验来检验我们的理论和算法选择。
引用
@article{arxiv.2502.16492,
title = {Convergence of Clipped SGD on Convex $(L_0,L_1)$-Smooth Functions},
author = {Ofir Gaash and Kfir Yehuda Levy and Yair Carmon},
journal= {arXiv preprint arXiv:2502.16492},
year = {2025}
}