具有简单局部线性-二次收敛速率的随机牛顿与三次牛顿方法
机器学习
2019-12-04 v1 最优化与控制
机器学习
摘要
我们提出两种新的极其简单的随机二阶方法，用于最小化大量充分光滑且强凸函数的平均值。第一种是牛顿法（SN）的随机变体，第二种是三次正则化牛顿法（SCN）的随机变体。我们建立了局部线性-二次收敛结果。与现有的二阶方法随机变体不同，后者在每次迭代中需要计算大量梯度与/或Hessian以保证收敛，我们的方法没有这一缺陷。例如，我们方法的最简单变体在每次迭代中仅需计算单个随机选中函数的梯度与Hessian。与大多数现有的随机牛顿与拟牛顿方法相比，我们的方法保证比一阶oracle更快的局部收敛，并自适应于问题的曲率。有趣的是，我们的方法并非无偏的，因此我们的理论为设计新随机方法提供了新直觉。
引用
@article{arxiv.1912.01597,
title = {Stochastic Newton and Cubic Newton Methods with Simple Local Linear-Quadratic Rates},
author = {Dmitry Kovalev and Konstantin Mishchenko and Peter Richtárik},
journal= {arXiv preprint arXiv:1912.01597},
year = {2019}
}
备注
16 pages, 2 figures, 3 algorithms, 2 theorems, 7 lemmas; to be presented at the NeurIPS workshop "Beyond First Order Methods in ML"