Null-LoRA: 零空间上的低秩适应
计算机视觉与模式识别
2025-12-19 v2
摘要
参数高效微调方法在将大规模模型适配到下游任务方面获得了相当大的流行度，特别是LoRA及其变体。现有方法在整个参数空间上执行低秩适应。然而，在子空间内进行微调可以实现相当的有效性。受预训练模型具有非平凡零空间的观察启发，我们提出了基于零空间的低秩适应（Null-LoRA）。Null-LoRA通过冻结低秩矩阵的部分内容，有效减少了冗余并增强了有效秩。为进一步提高参数效率，Null-LoRA将整个增量更新约束在零空间内，最大化增量更新的利用以适应新的任务范式。在图像-文本检索和视觉问答任务上的广泛实验中，Null-LoRA以更少的参数超越了最先进水平。
引用
@article{arxiv.2512.15233,
title = {Null-LoRA: Low-Rank Adaptation on Null Space},
author = {Yi Zhang and Yulei Kang and Haoxuan Chen and Jinxuan Li and Jian-Fang Hu},
journal= {arXiv preprint arXiv:2512.15233},
year = {2025}
}