李群上的变分辛加速优化
最优化与控制
2021-03-29 v1
摘要
由于Nesterov加速梯度下降算法相比标准梯度下降算法具有更优的性能保证,且适用于深度学习中产生的大规模优化问题,其推广形式已引起显著关注。一种尤为有效的方法基于描述Nesterov算法连续时间极限的微分方程数值离散化,以及涉及时间依赖Bregman拉格朗日与哈密顿动力学、能以任意快速率收敛至极小值的推广形式。我们基于Bregman拉格朗日在李群上的扩展路径空间表述,开发了李群变分离散化方法,并通过姿态确定与基于视觉的定位两个例子分析其计算性质。
引用
@article{arxiv.2103.14166,
title = {Variational Symplectic Accelerated Optimization on Lie Groups},
author = {Taeyoung Lee and Molei Tao and Melvin Leok},
journal= {arXiv preprint arXiv:2103.14166},
year = {2021}
}