中文

坐标wise Armijo条件:一般情形

最优化与控制 2020-03-12 v1 机器学习 动力系统 机器学习

摘要

z=(x,y)z=(x,y) 为乘积空间 Rm1×Rm2\mathbb{R}^{m_1}\times \mathbb{R}^{m_2} 的坐标。设 f:Rm1×Rm2Rf:\mathbb{R}^{m_1}\times \mathbb{R}^{m_2}\rightarrow \mathbb{R}C1C^1 函数,其梯度为 f=(xf,yf)\nabla f=(\partial _xf,\partial _yf)。固定 0<α<10<\alpha <1。对于点 (x,y)Rm1×Rm2(x,y) \in \mathbb{R}^{m_1}\times \mathbb{R}^{m_2},若以下不等式成立,则数 δ>0\delta >0(x,y)(x,y) 处满足 Armijo 条件:\begin{eqnarray*} f(x-\delta \partial _xf,y-\delta \partial _yf)-f(x,y)\leq -\alpha \delta (||\partial _xf||^2+||\partial _yf||^2). \end{eqnarray*} 在先前一篇论文中,我们提出了如下的{\bf 坐标wise} Armijo 条件。再次固定 0<α<10<\alpha <1。若以下不等式成立,则一对正数 δ1,δ2>0\delta _1,\delta _2>0(x,y)(x,y) 处满足 Armijo 条件的坐标wise变体:\begin{eqnarray*} [f(x-\delta _1\partial _xf(x,y), y-\delta _2\partial _y f(x,y))]-[f(x,y)]\leq -\alpha (\delta _1||\partial _xf(x,y)||^2+\delta _2||\partial _yf(x,y)||^2). \end{eqnarray*} 此前我们将此条件应用于形如 f(x,y)=f(x)+g(y)f(x,y)=f(x)+g(y) 的函数,并证明了相应的多种收敛结果。对于一般函数,为了能够进行实际计算,关键在于拥有一个系统性的算法来获取满足坐标wise版 Armijo 条件的 δ1\delta _1δ2\delta _2,正如通常 Armijo 条件所对应的回溯法(Backtracking)那样。本文提出这样一种算法,并证明相应的收敛结果。随后我们针对若干函数(如 Asl 与 Overton 结合 Wolfe 方法给出的 f(x,y)=ax+yf(x,y)=a|x|+yf(x,y)=x3sin(1/x)+y3sin(1/y)f(x,y)=x^3 sin (1/x) + y^3 sin(1/y) 以及 Rosenbrock 函数)进行分析并给出实验结果。

关键词

引用

@article{arxiv.2003.05252,
  title  = {Coordinate-wise Armijo's condition: General case},
  author = {Tuyen Trung Truong},
  journal= {arXiv preprint arXiv:2003.05252},
  year   = {2020}
}

备注

6 pages. Preprint arXiv:1911.07820 is incorporated as a very special case