PNKH-B：一种用于大规模界约束优化的投影牛顿-克雷洛夫方法
数值分析
2020-11-25 v2 数值分析
摘要
我们提出 PNKH-B，一种用于迭代求解带界约束的大规模优化问题的投影牛顿-克雷洛夫方法。PNKH-B 面向函数与梯度求值代价高昂、且（近似）Hessian 仅能通过矩阵-向量乘积获得的情形。这在大规模参数估计、机器学习和图像处理中很常见。在每次迭代中，PNKH-B 利用（近似）Hessian 的低秩近似来确定搜索方向并构造投影线搜索中所用的度量。该度量的关键特征在于其与 Krylov 子空间上 Hessian 的低秩近似保持一致。这使得 PNKH-B 类似于一种投影变度量法。我们提出一种内点法来高效求解二次投影问题。由于该内点法有效利用了低秩结构，其计算代价仅随变量个数线性增长，且只增加可忽略的计算时间。我们还试验了将活跃集估计纳入 Hessian 近似的 PNKH-B 变体。在标准假设下，我们证明了到驻点的全局收敛性。利用由参数估计、机器学习和图像重建启发的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量可带来快速收敛，尤其在最初几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 提供了我们的 MATLAB 实现。
引用
@article{arxiv.2005.13639,
title = {PNKH-B: A Projected Newton-Krylov Method for Large-Scale Bound-Constrained Optimization},
author = {Kelvin Kan and Samy Wu Fung and Lars Ruthotto},
journal= {arXiv preprint arXiv:2005.13639},
year = {2020}
}