具有非精确 Hessian 与梯度的非凸优化随机二阶方法
最优化与控制
2018-09-27 v1 机器学习
机器学习
摘要
信赖域与三次正则化方法在小型非凸优化中展现出良好性能，表现出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian 和函数值的计算，以获取搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类梯度、Hessian 和函数值被非精确计算时的随机信赖域与三次正则化方法，并表明达到 -近似二阶最优性的迭代复杂度与先前梯度与函数值被精确计算的工作同阶。关于非精确性的温和条件可通过随机采样在有限和最小化中达成。我们表明，与先前二阶方法相比，该算法在训练卷积神经网络上表现良好。
引用
@article{arxiv.1809.09853,
title = {Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient},
author = {Liu Liu and Xuanqing Liu and Cho-Jui Hsieh and Dacheng Tao},
journal= {arXiv preprint arXiv:1809.09853},
year = {2018}
}