满足 Polyak-Łojasiewicz 条件的优化问题的梯度型方法：早停与对不精确参数的适应性
最优化与控制
2022-12-09 v1
摘要
由于其在机器学习及诸多相关工程应用中的广泛出现，满足 Polyak-{\L}ojasiewicz 条件的光滑函数最小化问题受到研究者的广泛关注。近来，针对该问题，近期工作的作者提出了一种使用不精确梯度的自适应梯度型方法。其适应性仅针对梯度的 Lipschitz 常数。本文中，针对具有 Polyak-{\L}ojasiewicz 条件的问题，我们提出一种全自适应算法，即适应性同时针对梯度 Lipschitz 常数与梯度中噪声的水平。我们详细分析了所提算法的收敛性，并估计了从起点到算法输出点的距离。数值实验与对比展示了所提算法在一些例子中的优势。
引用
@article{arxiv.2212.04226,
title = {Gradient-Type Methods for Optimization Problems with Polyak-{\L}ojasiewicz Condition: Early Stopping and Adaptivity to Inexactness Parameter},
author = {Ilya A. Kuruzov and Fedor S. Stonyakin and Mohammad S. Alkousa},
journal= {arXiv preprint arXiv:2212.04226},
year = {2022}
}