黎曼 Lyapunov 优化器：统一的优化框架
机器学习
2026-02-02 v1
摘要
我们提出黎曼 Lyapunov 优化器 (RLO)，这是一系列统一几何框架下的优化算法。不同于对现有优化器进行经验性改进，RLO是从一种新型控制理论框架中系统推导而来，该框架将优化重新解释为黎曼参数流形上离散时间受控动力系统的扩展状态形式。该框架的核心在于识别 Normally Attracting Invariant Manifold (NAIM)，将训练动力学组织为两个 distinct 阶段：快速将速度状态与目标图对齐，然后在其上进行受控演化。我们通过构建严格的 Lyapunov 函数来形式化该过程，以保证收敛到目标流形。这种视角产生一种建构性的“优化器生成器”，不仅恢复经典算法，还 enables 原则性地设计 RLO。我们通过几何诊断验证理论，并在大规模基准测试中表明，基于控制理论的优化器设计在性能上达到最先进水平。总体而言，RLO 将控制理论与现代机器学习优化相结合，提供了统一的语言和系统化的工具箱，用于设计稳定、有效的优化器。
引用
@article{arxiv.2601.22284,
title = {Riemannian Lyapunov Optimizer: A Unified Framework for Optimization},
author = {Yixuan Wang and Omkar Sudhir Patil and Warren E. Dixon},
journal= {arXiv preprint arXiv:2601.22284},
year = {2026}
}
备注
22 pages, 4 figures