无强凸性或 Lipschitz 梯度下牛顿法的全局线性收敛
机器学习
2018-06-04 v1 最优化与控制
机器学习
摘要
我们证明，对于 Hessian 矩阵稳定的目标函数，牛顿法以线性速率全局收敛。这类问题包含许多非强凸函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，且即使使用（ii）近似 Hessian 矩阵，以及子问题仅被（iii）近似求解时也成立。因此我们理论上证明了牛顿法优于一阶方法，后者在类似条件下仅能达到次线性 速率。
引用
@article{arxiv.1806.00413,
title = {Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients},
author = {Sai Praneeth Karimireddy and Sebastian U. Stich and Martin Jaggi},
journal= {arXiv preprint arXiv:1806.00413},
year = {2018}
}
备注
19 pages