Lie 群的基于动量的梯度下降方法
最优化与控制
2025-08-01 v2 机器学习
数值分析
微分几何
数值分析
摘要
Polyak 重球法（PHB；Polyak, 1964），又称经典动量法，和 Nesterov 加速梯度法（NAG；Nesterov, 1983）是成熟的用于优化的动量下降方法。尽管后者通常优于前者，但主要是 PHB 类方法向非线性空间的推广在文献中尚未得到充分探索。在本文中，我们提出了 NAG 类方法向 Lie 群优化的推广。该推广基于经典与加速动量方法之间的变分一一对应关系（Campos et al., 2023）。我们在基于 Frobenius 范数和 Rosenbrock 函数的旋转群上对选定的收缩进行了数值实验，以证明我们提出方法的有效性，且实验结果与 Euclidean 情形的结果一致，即 NAG 具有更快的收敛速度。
引用
@article{arxiv.2404.09363,
title = {Momentum-based gradient descent methods for Lie groups},
author = {Cédric M. Campos and David Martín de Diego and José Torrente},
journal= {arXiv preprint arXiv:2404.09363},
year = {2025}
}
备注
22 pages, 2 algorithms, 6 figures