LoRA meets Riemannion：面向参数无关低秩适配器的 Muon 优化器
机器学习
2025-10-02 v2 计算与语言
数值分析
微分几何
数值分析
摘要
本文提出了一种新的、完全基于黎曼几何的低秩适配（LoRA）框架，通过在固定秩流形上直接优化低秩适配器，从而消除标准欧几里得优化器中存在的标度歧义。我们的框架通过三个关键组件实现了这一目标：(1) 我们推导了 Riemannion，这是一种在固定秩矩阵流形上的新型黎曼优化器，概括了最近提出的 Muon 优化器；(2) 我们发展了基于黎曼梯度的 LoRA 初始化方法；(3) 我们提供了一种高效实现，无显著开销，利用自动微分计算涉及的几何运算，并遵循数值线性代数中的最佳实践。在 LLM 和扩散模型架构上的全面实验结果表明，我们的方法相对于标准 LoRA 及其最新改进方法，在收敛速度和最终任务性能方面均实现了一致且显著的提升。
引用
@article{arxiv.2507.12142,
title = {LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters},
author = {Vladimir Bogachev and Vladimir Aletov and Alexander Molozhavenko and Denis Bobkov and Vera Soboleva and Aibek Alanov and Maxim Rakhuba},
journal= {arXiv preprint arXiv:2507.12142},
year = {2025}
}