随机扰动交替梯度下降收敛至二阶平稳解的亚线性收敛性
最优化与控制
2018-03-01 v1 信息论
math.IT
机器学习
摘要
交替梯度下降（AGD）是一种简单但流行的算法，已应用于优化、机器学习、数据挖掘和信号处理等问题。该算法以交替方式更新两块变量，其中对一块变量采取梯度步，同时保持其余块固定。当目标函数非凸时，众所周知 AGD 以全局亚线性速率收敛至一阶平稳解。在本文中，我们证明 AGD 类算法的一个变体不会被鞍点和局部极大点等“坏”平稳解所困住。具体而言，我们考虑一个光滑无约束优化问题，并提出一种扰动 AGD（PA-GD），它以高概率（global sublinear rate）收敛至二阶平稳解集（SS2）。据我们所知，这是首个以高概率在 次迭代内达到 SS2 的交替型算法［其中 polylog 为问题维度 的对数的多项式］。
引用
@article{arxiv.1802.10418,
title = {On the Sublinear Convergence of Randomly Perturbed Alternating Gradient Descent to Second Order Stationary Solutions},
author = {Songtao Lu and Mingyi Hong and Zhengdao Wang},
journal= {arXiv preprint arXiv:1802.10418},
year = {2018}
}