OPLoRA：正交投影LoRA防止参数高效微调中的灾难性遗忘
计算与语言
2025-11-11 v2
摘要
低秩适应（Low-Rank Adaptation, LoRA）使大语言模型的高效微调成为可能，但在学习到的更新干扰编码essential pre-trained knowledge的主要奇异方向时， suffers from catastrophic forgetting。我们提出正交投影LoRA（Orthogonal Projection LoRA, OPLoRA），一种在通过双侧正交投影中防止这种干扰的理论上有据求支持的方法。通过对冻结权重进行奇异值分解（SVD），OPLoRA将LoRA更新约束在前k个奇异子空间的正交补中，使用投影 和 。我们证明，这一构造恰好保留前k个奇异三元组，为知识保留提供了数学保证。为量化子空间干扰，我们引入 ，衡量更新与主导方向的对齐程度。广泛实验覆盖常识推理、数学和代码生成，表明OPLoRA显著减少遗忘，同时在LLaMA-2 7B和Qwen2.5 7B上保持竞争的任务特定性能，确立正交投影作为参数高效微调中知识保留的有效机制。
引用
@article{arxiv.2510.13003,
title = {OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning},
author = {Yifeng Xiong and Xiaohui Xie},
journal= {arXiv preprint arXiv:2510.13003},
year = {2025}
}