一种黎曼AdaGrad-Norm方法
最优化与控制
2025-09-25 v1
摘要
我们提出了一种流形AdaGrad-Norm方法（MAdaGrad），将AdaGrad-Norm的范数版本扩展到黎曼优化。与可能需要每次迭代进行多次指数映射计算的线搜索方案不同，MAdaGrad每次迭代仅需一次。在假设目标函数f具有Lipschitz连续黎曼梯度的条件下，我们证明该方法最多需要O(ε⁻²)次迭代来计算满足‖grad f(x)‖≤ε的点x。在f是测地凸且流形截面曲率有下界的附加假设下，我们证明该方法最多需要O(ε⁻¹)次迭代来找到满足f(x)−f_low≤ε的点x，其中f_low为最优值。此外，若f在流形上全局满足Polyak–Łojasiewicz条件，且初始黎曼梯度的范数足够大，我们建立了O(log(ε⁻¹))的复杂度界。对于对称正定矩阵流形，我们构造了一族满足PL条件的非凸函数。数值实验展示了MAdaGrad相比配备Armijo线搜索的黎曼最速下降法的卓越性能。
引用
@article{arxiv.2509.19682,
title = {A Riemannian AdaGrad-Norm Method},
author = {Glaydston de C. Bento and Geovani N. Grapiglia and Mauricio S. Louzeiro and Daoping Zhang},
journal= {arXiv preprint arXiv:2509.19682},
year = {2025}
}