结合随机自适应三次正则化与负曲率的非凸优化方法
最优化与控制
2019-06-28 v1 机器学习
摘要
我们专注于最小化机器学习问题中常见的非凸有限和函数。为解决此问题，自适应三次正则化牛顿法已展现出强大的全局收敛性保证以及逃离严格鞍点的能力。该方法使用类似信赖域的方案来判断迭代是否成功，并仅在成功时进行更新。本文提出一种将负曲率与自适应三次正则化牛顿法相结合的算法，即使在迭代不成功时也能进行更新。我们将此新方法称为带负曲率的随机自适应三次正则化（SANC）。与先前方法不同，为获得随机梯度和海森估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法更适用于解决大规模机器学习问题。据我们所知，这是首次将负曲率方法与自适应三次正则化牛顿法相结合的方法。最后，我们提供了包括神经网络问题在内的实验结果，验证了我们方法的效率。
引用
@article{arxiv.1906.11417,
title = {Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization},
author = {Seonho Park and Seung Hyun Jung and Panos M. Pardalos},
journal= {arXiv preprint arXiv:1906.11417},
year = {2019}
}