梯度下降在梯度无全局 Lipschitz 连续性条件下的收敛性分析
最优化与控制
2023-06-27 v2
摘要
梯度下降（GD）是一类在实践中取得巨大成功的连续优化方法。由于数据科学应用的需求，采用递减步长的梯度下降已成为一种重要变体。尽管该梯度下降变体在目标函数具有全局 Lipschitz 连续梯度或要求迭代有界的假设下已在文献中被充分研究，但数据科学问题中的目标函数并不满足此类假设。因此，在本工作中，我们针对梯度仅局部 Lipschitz 连续的可微非凸函数，提供了递减步长梯度下降的一种新颖的全局收敛分析。通过我们的分析，我们推广了关于递减步长梯度下降的已知结论，包括有趣的拓扑事实；并且我们阐明了在先前被忽视的发散情形中可能出现的各种行为。从而，我们在面向数据科学问题的现实条件下，给出了递减步长梯度下降最一般的全局收敛分析。
引用
@article{arxiv.2210.02418,
title = {Gradient Descent in the Absence of Global Lipschitz Continuity of the Gradients},
author = {Vivak Patel and Albert S. Berahas},
journal= {arXiv preprint arXiv:2210.02418},
year = {2023}
}
备注
32 pages, 1 figure, 1 Table