稳定化 Barzilai-Borwein 方法
最优化与控制
2019-11-13 v3
摘要
Barzilai-Borwein（BB）方法是求解大规模无约束优化问题的一种流行且高效的工具。其搜索方向与最速下降（柯西）法相同，但步长规则不同。因此，它比柯西法收敛快得多。BB 方法的一个特点是可能产生过长的步长，将迭代点抛离解过远。此外，即使目标函数强凸，它也可能不收敛。本文引入一种稳定化技术。该技术限制每对相邻迭代点之间的距离，通常能减少 BB 迭代次数。当 BB 方法不收敛时，我们对这一方法的简单修正使其收敛。在适当假设下，我们证明了其全局收敛性，尽管其中不涉及线搜索且仅使用梯度值。由于稳定化步数被证明是有限的，该稳定化版本继承了 BB 方法的快速局部收敛性。广泛的数值实验结果表明，我们的稳定化技术常能使 BB 方法以更少迭代求解问题，甚至能求解后者失败的问题。
引用
@article{arxiv.1907.06409,
title = {Stabilized Barzilai-Borwein method},
author = {Oleg Burdakov and Yu-Hong Dai and Na Huang},
journal= {arXiv preprint arXiv:1907.06409},
year = {2019}
}