将 LoRA 初始化空间置于极端：保持预训练知识
摘要
低秩适应（LoRA）是大型语言模型（LLM）的参数高效微调方法，但仍面临灾难性遗忘问题。最近的研究表明，专业化的 LoRA 初始化可以缓解灾难性遗忘。目前有两种 LoRA 初始化方法旨在防止微调期间的知识遗忘：（1）使残差权重接近预训练权重，（2）确保 LoRA 初始化空间与预训练知识正交。前者是当前方法所致力实现的目标，而后者的重要性不被充分认识。我们发现，LoRA 初始化空间是保持预训练知识的关键，而非残差权重。现有方法如 MiLoRA 提议使 LoRA 初始化空间与预训练权重正交。然而，MiLoRA 使用预训练权重的零空间。相较于预训练权重，预训练知识的输入激活考虑了所有前序层的参数以及输入数据，而预训练权重仅包含当前层的信息。此外，我们发现输入激活的有效秩远小于预训练权重的秩。因此，激活的零空间更为准确，且包含的预训练知识信息更少。基于此，我们提出了 LoRA-Null 方法，在激活的零空间中初始化 LoRA。实验结果表明，LoRA-Null 在保持大型语言模型预训练世界知识的同时，达到了良好的微调性能，充分的实验验证了这一点。代码已公开于 {https://github.com/HungerPWAY/LoRA-Null}。
引用
@article{arxiv.2503.02659,
title = {Put the Space of LoRA Initialization to the Extreme to Preserve Pre-trained Knowledge},
author = {Pengwei Tang and Xiaolin Hu and Yong Liu and Lizhong Ding and Dongjie Zhang and Xing Wu and Debing Zhang},
journal= {arXiv preprint arXiv:2503.02659},
year = {2026}
}
备注
Accepted at AAAI 2026. We rediscovered why our approach works from the perspective of the LoRA initialization space. Accordingly, we added new experiments and also removed inappropriate experiments (those without catastrophic forgetting)