LoRA 的秩-精度权衡：基于梯度流分析
机器学习
2026-02-12 v1
摘要
以往的经验性研究表明，LoRA 在下游微调任务中甚至对于秩为1的更新，都能实现与全参数方法相当的精度。然而，LoRA 精度与更新秩之间关系的理论阐释仍相对不足。本文从动力学系统视角比较了秩为r的 LoRA 更新与全参数更新在微调任务中的精度。我们在全秩和低秩两个 regime 中进行梯度流分析，以建立 LoRA 下两种损失函数下秩与精度之间显式关系。虽然先前工作已提出 LoRA 的梯度流方程，但我们严格推导了其形式，证明其在同时更新和顺序更新下的形式相同。随后，我们利用得到的动力学系统方程，为迹平方和弗罗benius范数低秩近似损失函数，获取 LoRA 秩与精度之间的闭式关系。
引用
@article{arxiv.2602.10212,
title = {Rank-Accuracy Trade-off for LoRA: A Gradient-Flow Analysis},
author = {Michael Rushka and Diego Klabjan},
journal= {arXiv preprint arXiv:2602.10212},
year = {2026}
}