黎曼随机优化方法避开严格鞍点
最优化与控制
2023-11-07 v1 机器学习
摘要
许多现代机器学习应用——从在线主成分分析到协方差矩阵辨识和字典学习——可被表述为黎曼流形上的极小化问题，并通常用黎曼随机梯度法（或其某种变体）求解。然而，在许多感兴趣的情形中，所得极小化问题并非测地凸的，因此所选求解器收敛到合意解（即局部极小点）绝非有保证的。在本文中，我们正研究这一问题，即随机黎曼优化算法是否以保证概率 1 避开鞍点。为一般性起见，我们研究一类基于收缩映射的方法族，其除相对黎曼梯度下降可能具有低得多的单步代价外，还包含其他广泛使用的算法，如自然策略梯度方法和普通凸空间中的镜像下降。在此一般设定下，我们表明，在对环境流形和提供梯度信息的预言机作温和假设下，所研究的策略以概率 1 从任意初始条件避开严格鞍点/子流形。该结果为流形上梯度法的使用提供了重要的合理性检验，因为它表明几乎总是，随机黎曼算法的极限状态只能是局部极小点。
引用
@article{arxiv.2311.02374,
title = {Riemannian stochastic optimization methods avoid strict saddle points},
author = {Ya-Ping Hsieh and Mohammad Reza Karimi and Andreas Krause and Panayotis Mertikopoulos},
journal= {arXiv preprint arXiv:2311.02374},
year = {2023}
}
备注
27 pages, 3 figures