中文

带 Armijo-Wolfe 线搜索的梯度法在一类非光滑凸函数上的分析

最优化与控制 2018-09-21 v2 数值分析

摘要

人们早已知道梯度(最速下降)法在非光滑问题上可能失效,但文献中出现的例子要么是专门设计用来击败具有精确线搜索的梯度或次梯度法,要么相对于初始点的扰动是不稳定的。我们对梯度法在步长满足 Armijo 和 Wolfe 非精确线搜索条件的非光滑凸函数 f(x)=ax(1)+i=2nx(i)f(x) = a|x^{(1)}| + \sum_{i=2}^{n} x^{(i)} 上进行了分析。我们证明,若 aa 足够大,满足仅依赖于 Armijo 参数的条件,则当方法以任意点 x0Rnx_0 \in \R^nx0(1)0x^{(1)}_0\not = 0 初始化时,迭代收敛到点 xˉ\bar xxˉ(1)=0\bar x^{(1)}=0,尽管 ff 在下无界。我们还给出了使用特定的 Armijo-Wolfe 括号线搜索时迭代满足 f(xk)f(x_k)\to-\infty 的条件。我们的实验结果表明我们的分析是相当紧的。

关键词

引用

@article{arxiv.1711.08517,
  title  = {Analysis of the Gradient Method with an Armijo-Wolfe Line Search on a Class of Nonsmooth Convex Functions},
  author = {Azam Asl and Michael L. Overton},
  journal= {arXiv preprint arXiv:1711.08517},
  year   = {2018}
}