高斯-牛顿方法的灵活改进及其随机扩展
最优化与控制
2021-05-04 v2
摘要
本文基于解残差的上界与二次正则化思想，提出了一种求解非线性方程组的近期发展的高斯-牛顿方法的新版本。我们获得了该方法的全局收敛界，并在自然非退化假设下给出了局部二次收敛结果。我们为所提出的高斯-牛顿方法开发了随机优化算法，并利用弱增长条件（WGC）和 Polyak-Lojasiewicz（PL）不等式证明了这些算法的次线性和线性收敛速率。我们表明，在 WGC 和 PL 条件下，随机设置下的高斯-牛顿方法能够有效找到解，其收敛速率与确定性优化方法相匹配。所建议的方法统一了大多数实际使用的的高斯-牛顿方法改进形式，并能在它们之间轻松插值，提供了一种灵活且便捷的方法，可使用凸优化的标准技术轻松实现。
引用
@article{arxiv.2102.00810,
title = {Flexible Modification of Gauss-Newton Method and Its Stochastic Extension},
author = {Nikita Yudin and Alexander Gasnikov},
journal= {arXiv preprint arXiv:2102.00810},
year = {2021}
}
备注
(in Russian, 105 pages)