正则性条件下非凸优化中加速梯度下降的解析收敛域
最优化与控制
2019-12-11 v2
摘要
利用鲁棒控制理论分析和设计优化与机器学习算法正引起越来越多的关注。本文研究一类代价函数满足所谓正则性条件（RC）的非凸优化问题。实证研究表明，适当初始化的加速梯度下降（AGD）算法（如 Nesterov 加速和 Heavy-ball）在实践中往往表现良好。然而，此类 AGD 算法的收敛性在文献中很大程度上未知。本文的主要贡献是通过鲁棒控制工具解析刻画了 RC 下 AGD 的收敛域。由于此类优化问题频繁出现于相位恢复、神经网络训练和矩阵感知等诸多应用中，我们的结果展示了鲁棒控制理论在这些领域的应用前景。
引用
@article{arxiv.1810.03229,
title = {Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition},
author = {Huaqing Xiong and Yuejie Chi and Bin Hu and Wei Zhang},
journal= {arXiv preprint arXiv:1810.03229},
year = {2019}
}
备注
Accepted to Automatica