李群动量优化器的定量收敛性
机器学习
2024-06-03 v1 数值分析
数值分析
最优化与控制
机器学习
摘要
通过变分优化和动量平凡化，可以构建定义在李群上的显式、基于动量的函数优化动力学。保持结构的时间离散化可以将这种动力学转化为优化算法。本文研究了两种离散化类型：Lie Heavy-Ball（一种已知的分裂方案）和新提出的Lie NAG-SC。在L-光滑性和局部强凸性假设下，明确量化了它们的收敛速率。Lie NAG-SC相比无动量情况（即黎曼梯度下降）提供了加速，但Lie Heavy-Ball没有。与现有的通用流形加速优化器相比，Lie Heavy-Ball和Lie NAG-SC由于利用了群结构，计算成本更低且更易于实现。它们仅需要梯度预言和指数映射，而不需要计算成本高昂的对数映射或平行移动。
引用
@article{arxiv.2405.20390,
title = {Quantitative Convergences of Lie Group Momentum Optimizers},
author = {Lingkai Kong and Molei Tao},
journal= {arXiv preprint arXiv:2405.20390},
year = {2024}
}