关于 Barzilai-Borwein 方法的加速
最优化与控制
2020-01-09 v1
摘要
Barzilai-Borwein（BB）梯度法在求解大规模无约束问题至中等精度时是高效的，并且具有易于扩展以求解广泛一类约束优化问题的巨大优势。在本文中，我们提出一种新的步长，通过要求二维强凸二次函数最小化时的有限终止性来加速 BB 方法。结合这一新步长，我们发展了自适应地采用非单调 BB 步长与某些单调步长来最小化一般强凸二次函数的梯度法。此外，通过引入非单调线搜索与梯度投影技术，我们将这些新梯度法推广至求解一般光滑无约束与边界约束优化问题。大量数值实验表明，我们在非单调 BB 方法中适当插入单调梯度步的策略能显著改善其性能，且所得新方法能够优于近期文献中最成功的梯度下降法。
引用
@article{arxiv.2001.02335,
title = {On the acceleration of the Barzilai-Borwein method},
author = {Yakui Huang and Yu-Hong Dai and Xin-Wei Liu and Hongchao Zhang},
journal= {arXiv preprint arXiv:2001.02335},
year = {2020}
}
备注
26 pages, 5 figures