关于三次正则化牛顿法非精确条件的一个注记
最优化与控制
2018-08-23 v1 机器学习
摘要
本注记考虑非精确三次正则化牛顿法(CR)，其在\cite{Cartis2011a}中已被证明对二阶平稳点达到与精确CR \citep{Nesterov2006}同阶的收敛速度。然而，\cite{Cartis2011a}中的非精确条件由于其依赖于未来迭代变量而不可实现。本注记通过证明在非精确自适应条件（仅依赖于当前迭代）下非凸优化具有相同收敛速度，修复了这一问题。我们的证明控制总迭代上函数值的充分下降，而非先前研究中所用的每次迭代，这在其他情境下可能具有独立意义。
关键词
引用
@article{arxiv.1808.07384,
title = {A Note on Inexact Condition for Cubic Regularized Newton's Method},
author = {Zhe Wang and Yi Zhou and Yingbin Liang and Guanghui Lan},
journal= {arXiv preprint arXiv:1808.07384},
year = {2018}
}