Heavy-ball 算法总能逃离鞍点
最优化与控制
2019-07-24 v1 机器学习
机器学习
摘要
具有随机初始化的非凸优化算法近来受到越来越多的关注。已有研究表明，许多一阶方法在随机起点下总能避免鞍点。在本文中，我们回答一个问题：具有随机初始化的非凸 heavy-ball 算法能否避免鞍点？答案是能！直接沿用现有的 heavy-ball 算法证明技术较为困难，因为其每次迭代由当前点与上一时刻点组成。在某些映射 g 下，无法将算法表述为 xk+1 = g(xk) 形式的迭代。为此，我们在一个新空间上设计了一种新映射。经过若干转换，heavy-ball 算法可被解释为该映射后的迭代。理论上，我们证明 heavy-ball 梯度下降相比梯度下降可使用更大的步长以逃离鞍点。我们还考虑了 heavy-ball 邻近点算法；并同样证明了该算法总能逃离鞍点。
引用
@article{arxiv.1907.09697,
title = {Heavy-ball Algorithms Always Escape Saddle Points},
author = {Tao Sun and Dongsheng Li and Zhe Quan and Hao Jiang and Shengguo Li and Yong Dou},
journal= {arXiv preprint arXiv:1907.09697},
year = {2019}
}
备注
IJCAI 2019