一种用于有限和最小化的带非精确恢复的随机一阶信赖域方法
最优化与控制
2022-10-25 v3 数值分析
数值分析
摘要
我们提出了一种具有非精确函数与梯度求值的随机一阶信赖域方法，用于求解有限和最小化问题。利用对给定问题的适当重构，我们的方法将约束优化的非精确恢复方法与信赖域过程和随机模型相结合。与其他近期随机信赖域格式不同，我们提出的算法以模块化方式改善可行性与最优性。通过对随机函数和梯度施加一些概率精度要求（这些要求通常比文献中相应要求更宽松），我们给出了达到近驻点所需的期望迭代次数。我们在二分类与回归中出现的一些非凸优化问题上验证了所提算法，表明其在代价与精度方面表现良好，并有助于减轻所涉及的超参数繁琐调参。
引用
@article{arxiv.2107.03129,
title = {A stochastic first-order trust-region method with inexact restoration for finite-sum minimization},
author = {Stefania Bellavia and Natasa Krejic and Benedetta Morini and Simone Rebegoldi},
journal= {arXiv preprint arXiv:2107.03129},
year = {2022}
}