梯度全局与局部 Lipschitz 连续下的通用无导数优化方法
最优化与控制
2023-11-29 v1
摘要
本文研究目标函数梯度信息不可用的无导数光滑优化问题。针对具有全局或局部 Lipschitz 连续梯度的此类函数最小化，提出并发展了两种新颖的通用无导数方法。所提新方法使用基于有限差分的梯度近似，其中有限差分区间根据精确梯度的量级自动适配，而无需确切知晓这些梯度。所设计算法取得了基本的收敛结果，包括一般设定下累积点的平稳性，以及在施加 Kurdyka-Łojasiewicz 性质时具有构造性收敛速率的全局收敛。在該性质下，还分析了所提算法对非孤立局部极小点的局部收敛性及其局部收敛速率。涉及多种凸、非凸、无噪声及含噪函数的数值实验表明，新方法有别于其他最先进的无导数优化方法，展现出本质优势。
引用
@article{arxiv.2311.16850,
title = {General Derivative-Free Optimization Methods under Global and Local Lipschitz Continuity of Gradients},
author = {Pham Duy Khanh and Boris S. Mordukhovich and Dat Ba Tran},
journal= {arXiv preprint arXiv:2311.16850},
year = {2023}
}
备注
30 pages, 49 figures