赋予Barzilai-Borwein方法二维二次终止性质
最优化与控制
2021-01-12 v2
摘要
在赋予Barzilai-Borwein (BB)方法二维二次终止性质的动机下，推导出一种新颖的梯度步长。该新颖步长的一个显著特征是，其计算仅依赖于前几次迭代中的BB步长，不需要任何精确线搜索或Hessian矩阵，因此可轻易推广到非线性优化。通过自适应地采用长BB步长及与该新步长相关的一些短步长，我们提出了一种高效的梯度方法用于二次优化和一般无约束优化，并将其推广至求解极端特征值问题。通过结合梯度投影技术，所提方法进一步推广至盒约束优化和单线性盒约束优化。数值实验表明，所提方法优于文献中最成功的梯度方法。
引用
@article{arxiv.2010.12130,
title = {Equipping Barzilai-Borwein method with two dimensional quadratic termination property},
author = {Yakui Huang and Yu-Hong Dai and Xin-Wei Liu},
journal= {arXiv preprint arXiv:2010.12130},
year = {2021}
}
备注
25 pages, 4 figures