不精确Hessian信息下Newton-MR的收敛性
最优化与控制
2022-06-14 v2
摘要
近来，设计经典Newton-CG变体的兴趣激增，其中（强）凸函数的Hessian被合适的近似所替代。这主要受到许多机器学习应用中出现的大规模有限和最小化问题的推动。超越凸性，不精确Hessian信息近来也在信赖域或（自适应）三次正则化等针对一般非凸问题的算法背景下被考虑。在此，我们对Newton-MR做了同样的处理，该算法将经典Newton-CG的应用范围从凸性推广到invex问题。与依赖Löwner偏序意义下保谱Hessian近似的Newton-CG收敛分析不同，我们此处的工作借助矩阵扰动理论来估计精确与近似Hessian矩阵所对应子空间之间的距离。数值实验表明该方法对此类Hessian近似具有高度的鲁棒性，从而成为大规模问题中一种高效的算法。
引用
@article{arxiv.1909.06224,
title = {Convergence of Newton-MR under Inexact Hessian Information},
author = {Yang Liu and Fred Roosta},
journal= {arXiv preprint arXiv:1909.06224},
year = {2022}
}
备注
32 pages, 10 figures