坐标wise Armijo条件:一般情形
摘要
设 为乘积空间 的坐标。设 为 函数,其梯度为 。固定 。对于点 ,若以下不等式成立,则数 在 处满足 Armijo 条件:\begin{eqnarray*} f(x-\delta \partial _xf,y-\delta \partial _yf)-f(x,y)\leq -\alpha \delta (||\partial _xf||^2+||\partial _yf||^2). \end{eqnarray*} 在先前一篇论文中,我们提出了如下的{\bf 坐标wise} Armijo 条件。再次固定 。若以下不等式成立,则一对正数 在 处满足 Armijo 条件的坐标wise变体:\begin{eqnarray*} [f(x-\delta _1\partial _xf(x,y), y-\delta _2\partial _y f(x,y))]-[f(x,y)]\leq -\alpha (\delta _1||\partial _xf(x,y)||^2+\delta _2||\partial _yf(x,y)||^2). \end{eqnarray*} 此前我们将此条件应用于形如 的函数,并证明了相应的多种收敛结果。对于一般函数,为了能够进行实际计算,关键在于拥有一个系统性的算法来获取满足坐标wise版 Armijo 条件的 和 ,正如通常 Armijo 条件所对应的回溯法(Backtracking)那样。本文提出这样一种算法,并证明相应的收敛结果。随后我们针对若干函数(如 Asl 与 Overton 结合 Wolfe 方法给出的 、 以及 Rosenbrock 函数)进行分析并给出实验结果。
引用
@article{arxiv.2003.05252,
title = {Coordinate-wise Armijo's condition: General case},
author = {Tuyen Trung Truong},
journal= {arXiv preprint arXiv:2003.05252},
year = {2020}
}
备注
6 pages. Preprint arXiv:1911.07820 is incorporated as a very special case