采用 Barzilai-Borwein 步长的全随机信赖域方法
最优化与控制
2025-08-01 v2 数值分析
数值分析
摘要
我们研究了随机梯度方法及 Barzilai-Borwein 步长的随机对应形式，及其在有限和最小化问题中的应用。我们的提议基于 [F. E. Curtis, K. Scheinberg, R. Shi, {\it A stochastic trust region algorithm based on careful step normalization}, Informs Journal on Optimization, 1, 2019] 中引入的 Trust-Region-ish (TRish) 框架。名为 TRishBB 的新框架旨在增强 TRish 的性能并降低二阶 TRish 变体的计算成本。我们提出了三种属于 TRishBB 框架的不同方法，并针对可能非凸的目标函数，考虑了有偏和无偏梯度近似，给出了收敛性分析。我们的分析既不需要递减步长也不需要全梯度评估。机器学习应用中的数值实验证明了将 Barzilai-Borwein 步长应用于随机梯度的有效性，并表明与 TRish 方法相比测试准确度有所提高。
引用
@article{arxiv.2412.12180,
title = {Fully stochastic trust-region methods with Barzilai-Borwein steplengths},
author = {Stefania Bellavia and Benedetta Morini and Mahsa Yousefi},
journal= {arXiv preprint arXiv:2412.12180},
year = {2025}
}