在非凸优化中通过重球动量快速寻找良性区域
机器学习
2021-02-16 v2 机器学习
摘要
重球法由 Polyak 在五十多年前提出，是一种用于优化连续函数的一阶方法。尽管其随机化版本在深度网络训练中极为流行，但几乎不存在已知的函数使得确定性重球法在非凸优化中被证明比简单经典的梯度下降算法更快。重球法的成功迄今仍缺乏理论理解。我们的目标正是弥补这一空白，在本工作中我们识别出两个非凸问题，并严格证明重球动量有助于迭代更快地进入包含全局最优点的良性区域。我们表明重球法展现出简单的动力学行为，清晰地揭示了在这些问题中使用更大动量参数的好处。其中第一个优化问题是相位恢复问题，在物理科学中有着有用的应用。第二个优化问题是三次正则化极小化，这是 Nesterov-Polyak 三次正则化方法在一般光滑非凸问题中寻找二阶驻点所需的关键子程序。
引用
@article{arxiv.2010.01449,
title = {Quickly Finding a Benign Region via Heavy Ball Momentum in Non-Convex Optimization},
author = {Jun-Kun Wang and Jacob Abernethy},
journal= {arXiv preprint arXiv:2010.01449},
year = {2021}
}