Neon2：通过一阶预言机寻找局部极小值
机器学习
2018-04-23 v3 数据结构与算法
神经与进化计算
最优化与控制
机器学习
摘要
我们提出一种针对非凸优化的归约，其能够（1）将驻点寻找算法转化为局部极小值寻找算法，以及（2）将Hessian-向量积计算仅替换为梯度计算。它在随机和确定性设置下均有效，且不损害算法性能。作为应用，我们的归约将Natasha2转化为一种一阶方法而不损害其性能。它还将SGD、GD、SCSG和SVRG转化为寻找近似局部极小值的算法，优于一些已知最佳结果。
引用
@article{arxiv.1711.06673,
title = {Neon2: Finding Local Minima via First-Order Oracles},
author = {Zeyuan Allen-Zhu and Yuanzhi Li},
journal= {arXiv preprint arXiv:1711.06673},
year = {2018}
}
备注
version 2 and 3 improve writing