通过非精确牛顿法加速前向-后向分裂
最优化与控制
2019-11-11 v1
摘要
我们提出一种前向-后向截断牛顿法（FBTN），用于最小化两个凸函数之和，其中之一是光滑的。与其他邻近牛顿法不同，我们的方法不涉及变度量，而是基于将原问题重新表述为对连续可微函数——前向-后向包络（FBE）——的无约束最小化。我们为 FBE 引入了一个广义 Hessian 矩阵，它对称化了表示问题最优性条件的非线性方程组的广义 Jacobian 矩阵。这使得能够使用共轭梯度法（CG）高效求解所得的（正则化）线性系统，且可非精确求解。CG 的使用避免了完整（广义）Jacobian 矩阵的计算，因为它仅需（广义）方向导数。所得算法具有全局（子序列）收敛性，在误差界条件下为 线性收敛，并在可能非孤立极限点处的正则性假设下可达 超线性和 二次收敛。
引用
@article{arxiv.1811.02935,
title = {On the acceleration of forward-backward splitting via an inexact Newton method},
author = {Andreas Themelis and Masoud Ahookhosh and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:1811.02935},
year = {2019}
}