无约束优化的目标加速

加速方案可以显著改进现有的优化程序。在这些方案的大多数工作中,如非线性广义极小残差法(N-GMRES),加速是基于在 $\mathbb{R}^n$ 的子空间上最小化某个目标的 $\ell_2$ 范数。许多数值例子表明,使用N-GMRES加速通用和特定领域的优化器可以带来巨大的改进。我们提出对N-GMRES的自然修改,这在最初用于倡导N-GMRES的测试环境中显著提高了性能。我们提出的方法,我们称之为O-ACCEL(Objective Acceleration, 目标加速),其新颖之处在于它在 $\mathbb{R}^n$ 的子空间上最小化对\emph{目标函数}的近似。我们证明了当目标是二次时,O-ACCEL退化为求解线性系统的完全正交化方法,这使我们提出的方法有别于现有的加速方法。与L-BFGS和N-CG的比较表明了O-ACCEL的竞争力。由于它可以与特定领域的优化器结合,它可能在L-BFGS或N-CG不适用的领域也具有优势。