零阶负曲率寻找：无梯度逃离鞍点
最优化与控制
2022-10-05 v1 机器学习
摘要
我们考虑在非凸问题中逃离鞍点，其中仅能访问函数值评估。尽管已有多种工作提出，其中大多数需要二阶或一阶信息，且仅有少数利用了零阶方法，特别是零阶方法的负曲率寻找技术已被证明是逃离鞍点最有效的方式。为填补此空白，本文我们提出两种零阶负曲率寻找框架，可在不增加迭代复杂度的前提下替代 Hessian-向量积计算。我们将所提框架应用于 ZO-GD、ZO-SGD、ZO-SCSG、ZO-SPIDER，并证明这些 ZO 算法相比于先前寻找局部极小值的零阶工作能以更少的查询复杂度收敛到 -近似二阶驻点。
引用
@article{arxiv.2210.01496,
title = {Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients},
author = {Hualin Zhang and Huan Xiong and Bin Gu},
journal= {arXiv preprint arXiv:2210.01496},
year = {2022}
}