非凸优化中带动量近端梯度法的收敛性分析
机器学习
2017-05-16 v1
摘要
在许多现代机器学习应用中，底层数学模型的结构常常产生非凸优化问题。由于非凸性的难处理性，越来越需要开发高效方法来求解具有某些性能保证的一般非凸问题。在这项工作中，我们研究用于非凸规划的加速近端梯度法（APGnc）。该方法比较通常的近端梯度步与线性外推步，并接受函数值较低的一个以实现单调下降。具体而言，在一般非光滑非凸设定下，我们提供严格论证表明APGnc生成的序列的极限点是目标函数的临界点。然后，通过利用广泛函数类的Kurdyka-{\L}ojasiewicz (\KL) 性质，我们建立了APGnc生成的函数值序列的线性和次线性收敛速率。我们进一步提出随机方差缩减APGnc（SVRG-APGnc），并在\KL性质的特殊情况下建立其线性收敛性。我们还将分析扩展到这些方法的不精确版本，并开发了一种改善数值性能的自适应动量策略。
引用
@article{arxiv.1705.04925,
title = {Convergence Analysis of Proximal Gradient with Momentum for Nonconvex Optimization},
author = {Qunwei Li and Yi Zhou and Yingbin Liang and Pramod K. Varshney},
journal= {arXiv preprint arXiv:1705.04925},
year = {2017}
}
备注
Accepted in ICML 2017, 9 papes, 4 figures