New Q-Newton法Backtracking的推广与改进

在本文中,我们为作者先前工作中开发的算法New Q-Newton's method Backtracking提出一个通用框架。对于对称实方阵$A$,我们定义$minsp(A):=\min _{||e||=1} ||Ae||$。给定$C^2$代价函数$f:\mathbb{R}^m\rightarrow \mathbb{R}$、实数$0<\tau$以及$m+1$个固定实数$\delta _0,\ldots ,\delta _m$,我们对每个满足$\nabla f(x)\not= 0$的$x\in \mathbb{R}^m$定义如下量:$\kappa :=\min _{i\not= j}|\delta _i-\delta _j|$;$A(x):=\nabla ^2f(x)+\delta ||\nabla f(x)||^{\tau}Id$,其中$\delta$是序列$\{\delta _0,\ldots ,\delta _m\}$中使$minsp(A(x))\geq \kappa ||\nabla f(x)||^{\tau}$成立的首个元素;$e_1(x),\ldots ,e_m(x)$是$\mathbb{R}^m$的一组适当选取的标准正交基;$w(x)=$步方向,由公式给出:$$w(x)=\sum _{i=1}^m\frac{<\nabla f(x),e_i(x)>}{||A(x)e_i(x)||}e_i(x);$$(必要时我们也可通过$w(x)/\max \{1,||w(x)||\}$进行归一化)$\gamma (x)>0$为通过Backtracking线搜索选取的学习率,使得Armijo条件满足:$$f(x-\gamma (x)w(x))-f(x)\leq -\frac{1}{3}\gamma (x)<\nabla f(x),w(x)>.$$我们算法的更新规则为$x\mapsto H(x)=x-\gamma (x)w(x)$。在New Q-Newton's method Backtracking中,选取为$\tau =1+\alpha >1$且$e_1(x),\ldots ,e_m(x)$为$\nabla ^2f(x)$的特征向量。在本文中,我们允许更多的灵活性与一般性,例如$\tau$可选为$<1$或$e_1(x),\ldots ,e_m(x)$未必是$\nabla ^2f(x)$的特征向量。New Q-Newton's method Backtracking(以及Backtracking梯度下降)是一个特例,且某些版本带有拟牛顿法的特点。若干版本具备良好的理论保证。给出了一个求解多项式方程组的应用。