黎曼优化方法非渐近收敛的充分条件
最优化与控制
2022-12-13 v1
摘要
受欧氏空间中下降方法基于能量的分析启发，我们研究了此类分析在黎曼流形上下降方法的推广。在此过程中，我们发现可以为这类下降方法导出无曲率保证。这也使我们能够给出首个已知的在 -凸函数上黎曼三次正则化牛顿算法的保证，其推广了 Agarwal 等人[2021]针对一般非凸函数上自适应黎曼三次正则化牛顿算法的保证。该分析引导我们研究 -凸设定下黎曼梯度下降的加速，并改进了 Alimisis 等人[2021]的已有结果，尽管是曲率依赖的速率。最后，推广 Ahn 和 Sra[2020]的分析，我们尝试给出强测地凸设定下黎曼下降方法加速的一些充分条件。
引用
@article{arxiv.2212.05972,
title = {Sufficient conditions for non-asymptotic convergence of Riemannian optimisation methods},
author = {Vishwak Srinivasan and Ashia Wilson},
journal= {arXiv preprint arXiv:2212.05972},
year = {2022}
}
备注
Paper accepted at the OPT-ML Workshop, NeurIPS 2022