关于 $(L_0, L_1)$-光滑函数的梯度方法优化
最优化与控制
2025-03-11 v3
摘要
我们研究了用于优化 -光滑函数的梯度方法，这是一类概括 Lipschitz 光滑函数的函数，因其在机器学习中的相关性而受到关注。我们提供了对该函数类别结构的新见解，并发展了一个原则性的框架，用于分析该设置下的优化方法。虽然我们的收敛率估计为非凸问题中最小化梯度范数的现有结果恢复了现有结果，但我们的方法显著改进了针对凸目标的最佳已知复杂度界限。此外，我们显示，带有 Polyak 步长的梯度法和归一化梯度法几乎 achieves 与依赖于 显式知识的方法相同的复杂度保证。最后，我们展示，经过精心设计的加速梯度法可应用于 -光滑函数，从而进一步改进了所有先前结果。
引用
@article{arxiv.2410.10800,
title = {Optimizing $(L_0, L_1)$-Smooth Functions by Gradient Methods},
author = {Daniil Vankov and Anton Rodomanov and Angelia Nedich and Lalitha Sankar and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2410.10800},
year = {2025}
}