样本高效的随机方差缩减三次正则化方法
最优化与控制
2018-11-30 v1 机器学习
机器学习
摘要
我们提出了一种样本高效的随机方差缩减三次正则化(Lite-SVRC)算法，用于在非凸优化中高效寻找局部极小值。所提算法相比现有基于三次正则化的方法实现了更低的Hessian矩阵计算样本复杂度。我们分析的核心在于每次迭代中选取恒定的Hessian矩阵计算批量大小以及随机方差缩减技术。具体而言，对于具有个分量函数的非凸函数，Lite-SVRC在的Hessian样本复杂度内收敛至局部极小值，快于所有现有基于三次正则化的方法。在真实数据集上针对不同非凸优化问题进行的数值实验验证了我们的理论结果。
引用
@article{arxiv.1811.11989,
title = {Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method},
author = {Dongruo Zhou and Pan Xu and Quanquan Gu},
journal= {arXiv preprint arXiv:1811.11989},
year = {2018}
}
备注
24 pages, 2 figures, 1 table. The first version of this paper was submitted to UAI 2018 on March 9, 2018. This is the second version with improved presentation and additional baselines in the experiments, and was submitted to NeurIPS 2018 on May 18, 2018