基于插值最小二乘的参数化 Barzilai-Borwein 方法

Xin Xu

基于插值最小二乘的参数化 Barzilai-Borwein 方法

最优化与控制 2025-07-22 v2

作者: Xin Xu

摘要

Barzilai-Borwein（BB）方法是求解无约束优化问题的有效梯度下降算法。基于对两种经典 BB 步长的观察，通过构造插值最小二乘模型，我们提出了一类新型 BB 步长，每种步长仍保留拟牛顿性质，且原始两种 BB 步长为其两个极端情形。我们阐述了自适应交替 BB（ABB）方法背后的数学原理。基于此原理，我们发展了一类有效的自适应插值参数。对于严格凸二次优化问题，通过研究梯度分量绝对值之比的演化模式，我们建立了该新梯度下降方法的 R 线性收敛性。数值实验用于说明我们的发现。

关键词

Barzilai-Borwein 方法插值最小二乘自适应梯度下降拟牛顿性质 R 线性收敛二次优化

引用

@article{arxiv.2411.03899,
  title  = {A Parameterized Barzilai-Borwein Method via Interpolated Least Squares},
  author = {Xin Xu},
  journal= {arXiv preprint arXiv:2411.03899},
  year   = {2025}
}

备注

20 pages, 4 figures

基于插值最小二乘的参数化 Barzilai-Borwein 方法

摘要

关键词

引用

备注

相关论文