带噪声凸优化的线搜索 Newton-CG 方法
最优化与控制
2022-05-16 v1
摘要
本文研究用线搜索 Newton-CG 方法数值求解严格凸无约束优化问题。我们关注采用目标函数不精确求值以及不精确且可能为随机的梯度与 Hessian 估计的方法。导数估计不要求在每次迭代满足适当的精度条件，而只需以足够高概率满足。关于目标函数的求值，我们首先假设目标函数求值中的噪声绝对值有界。随后，我们分析误差满足给定动态精度要求的情况。我们对两种情况均给出复杂度分析并推导期望迭代复杂度界。最后我们聚焦于有限和最小化这一机器学习应用中典型的特例。
引用
@article{arxiv.2205.06710,
title = {Linesearch Newton-CG methods for convex optimization with noise},
author = {Stefania Bellavia and Eugenio Fabrizi and Benedetta Morini},
journal= {arXiv preprint arXiv:2205.06710},
year = {2022}
}