ODELoRA：基于求解常微分方程的低秩适配训练
机器学习
2026-02-10 v1 信息论
信号处理
math.IT
最优化与控制
摘要
低秩适配（LoRA）因其在深度迁移学习中通过Burer-Monteiro分解对适配矩阵实现的参数数量减少和内存需求降低，已成为广泛采用的参数高效微调方法。然而，经典的LoRA训练方法会将低秩因子矩阵单独处理，并使用标准梯度算法进行优化。此类解耦优化方案在理论和实验上都次优，因为未能充分利用LoRA参数化的内在结构。本文提出一种 novel 的连续时间优化动力学，用于LoRA因子矩阵，形式为常微分方程（ODE），以模拟在均衡流形上进行完整微调的梯度流。我们称该方法为ODELoRA。为准确跟踪ODELoRA的轨迹，我们采用欧拉法和龙姆-库仪方法等已建立且在理论上有严格依据的时间离散化方案。我们的框架为理解和设计LoRA训练算法提供了统一的ODE视角。我们在 mild 条件下，针对某些离散化方案，在强凸目标下证明了本方法的线性收敛性，并进一步将分析推广到矩阵感知设置。此外，我们展示ODELoRA实现了稳定的特征学习，这一性质对在不同问题维度下训练深层神经网络至关重要。矩阵感知任务的实验结果确认了推导出的线性收敛行为，在训练基于物理的神经网络实验中进一步表明ODELoRA在训练稳定性方面优于现有基线方法。
引用
@article{arxiv.2602.07479,
title = {ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations},
author = {Yihang Gao and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:2602.07479},
year = {2026}
}
备注
38 pages