归一化的力量：更快逃离鞍点
机器学习
2016-11-22 v1 最优化与控制
机器学习
摘要
非凸优化中一种常用的启发式方法是归一化梯度下降（NGD）——梯度下降的一种变体，其中仅考虑梯度方向而忽略其大小。我们分析了这种启发式方法，并证明通过精心选择参数和注入噪声，该方法可被证明能逃离鞍点。我们建立了NGD收敛到局部极小值的收敛性，并展示了优于Ge等人（2015）已知最快一阶算法的收敛速率。通过在线张量分解问题的应用，证明了我们方法的有效性；该任务中已知逃离鞍点会导致收敛到全局极小值。
引用
@article{arxiv.1611.04831,
title = {The Power of Normalization: Faster Evasion of Saddle Points},
author = {Kfir Y. Levy},
journal= {arXiv preprint arXiv:1611.04831},
year = {2016}
}