基于圆锥模型且具有近似最优步长的改进梯度法用于无约束优化
最优化与控制
2019-07-25 v1
摘要
一类新步长最近由 Liu 和 Liu (Optimization, 67(3), 427-440, 2018) 提出,称为近似最优步长,对梯度法相当有效。有趣的是,所有梯度法都可视为具有近似最优步长的梯度法。本文基于该工作 (Numer. Algorithms 78(1), 21-39, 2018),提出一种基于圆锥模型且具有近似最优步长的改进梯度法用于无约束优化。若目标函数 在当前迭代点与最近迭代点之间的线段上不接近二次函数,则在圆锥模型可用时构造圆锥模型以生成梯度法的近似最优步长;否则,构造若干二次模型以生成梯度法的近似最优步长。在适当条件下分析了所提方法的收敛性。与一些知名共轭梯度软件包(如 CGDESCENT (SIAM J. Optim. 16(1), 170-192, 2005) 和 CGOPT (SIAM J. Optim. 23(1), 296-320, 2013))的数值比较表明,所提方法非常有前景。
引用
@article{arxiv.1907.10494,
title = {An Improved Gradient Method with Approximately Optimal Stepsize Based on Conic model for Unconstrained Optimization},
author = {Zexian Liu and Hongwei Liu},
journal= {arXiv preprint arXiv:1907.10494},
year = {2019}
}
备注
arXiv admin note: text overlap with arXiv:1907.01794