带三次正则化的子采样牛顿法的自适应随机方差缩减
最优化与控制
2018-11-29 v1
摘要
Nesterov 和 Polyak 的三次正则化牛顿法因能以二阶保证找到近似局部解，在非凸优化中日益流行。近年的若干工作将该方法推广到最小化 N 个光滑函数平均值的问题，用子采样近似替代精确梯度与 Hessian。已证明通过利用随机方差缩减技术，每次迭代的总 Hessian 样本复杂度可降至关于 N 的次线性。我们提出一种用于带三次正则化的子采样牛顿法的自适应方差缩减方案，并证明寻找 (ε, ε^{1/2})-近似局部解（分别就一阶与二阶保证而言）的期望 Hessian 样本复杂度为 O(N + N^{2/3}ε^{-3/2})。此外，我们证明若使用精确梯度，相同的 Hessian 样本复杂度在固定样本量下依然保持。我们分析的技术不同于先前工作，在于我们不依赖基于矩阵浓度不等式的高概率界。相反，我们推导并利用了随机矩阵平均的三阶与四阶矩的界，这些界本身具有独立意义。
引用
@article{arxiv.1811.11637,
title = {Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization},
author = {Junyu Zhang and Lin Xiao and Shuzhong Zhang},
journal= {arXiv preprint arXiv:1811.11637},
year = {2018}
}