梯度法步长选取的调和框架
数值分析
2022-10-21 v2 数值分析
最优化与控制
摘要
我们研究了在非线性无约束优化问题梯度法步长选取中使用带目标值的逆调和 Rayleigh 商。这不仅为参数化和重新解释现有步长格式提供了一个优雅而灵活的框架，也为新的灵活可调步长族带来了启发。特别地，我们分析并将自适应 Barzilai-Borwein 方法推广到一个新的步长族。该族利用了目标值的负值，我们也考虑了正目标值。我们对二次问题给出了收敛性分析，推广了 Dai 和 Liao (2002) 的结果，并进行了实验以阐明这些方法的潜力。
引用
@article{arxiv.2202.10213,
title = {A harmonic framework for stepsize selection in gradient methods},
author = {Giulia Ferrandi and Michiel E. Hochstenbach and Natasa Krejic},
journal= {arXiv preprint arXiv:2202.10213},
year = {2022}
}