有限内存拟牛顿法的一种稠密初始化
最优化与控制
2019-05-23 v5
摘要
我们考虑有限内存拟牛顿法的一类稠密初始化。所提出的初始化利用基于特征分解的全空间划分为两个互补子空间，为每个子空间分配不同的初始化参数。这类稠密初始化是在使用形变范数定义各子问题的有限内存Broyden-Fletcher-Goldfarb-Shanno (L-BFGS)信赖域方法背景下提出的。如同传统使用对角初始化的L-BFGS方法，稠密初始化及生成的拟牛顿矩阵序列从未被显式形成。在CUTEst测试集上的数值实验表明，该初始化与形变信赖域方法结合在求解一般非凸无约束优化问题时优于其他L-BFGS方法。尽管该稠密初始化是在特殊信赖域方法背景下提出，它对更一般的拟牛顿信赖域与线搜索方法具有广泛应用。事实上，该初始化适用于任何容许紧表示的拟牛顿更新，特别是Broyden类更新中的任意成员。
引用
@article{arxiv.1710.02396,
title = {A Dense Initialization for Limited-Memory Quasi-Newton Methods},
author = {Johannes Brust and Oleg Burdakov and Jennifer B. Erway and Roummel F. Marcia},
journal= {arXiv preprint arXiv:1710.02396},
year = {2019}
}