随机平均模型方法
最优化与控制
2024-03-21 v4
摘要
我们考虑有限和最小化问题的求解，例如出现在非线性最小二乘或一般经验风险最小化问题中的那些。我们的研究动机源于这样一类问题：其分项函数计算代价高昂，且在优化方法的每次迭代中评估所有分项可能并不可取。我们提出随机平均模型（SAM）方法的构想，其受随机平均梯度法启发。SAM 方法在信赖域方法的每次迭代中，依据分项函数上的离散概率分布进行抽样；该分布旨在最小化所得随机模型方差的上界。我们给出了一个已实现变体的有前景的数值结果，该变体扩展了无导数基于模型的信赖域求解器 POUNDERS，我们将其命名为 SAM-POUNDERS。
引用
@article{arxiv.2207.06305,
title = {Stochastic Average Model Methods},
author = {Matt Menickelly and Stefan M. Wild},
journal= {arXiv preprint arXiv:2207.06305},
year = {2024}
}