SECURA：基于 Sigmoid 增强的 CUR 分解低秩适配，实现大语言模型中的无中断保留与低秩适配
摘要
随着大语言模型 (LLM) 的快速发展，完全微调 (FT) 这些模型因计算需求而日益不可行。此外，FT 也增加了灾难性遗忘的风险。作为一种替代方案，提出了低秩适配 (LoRA)。通过仅微调少数参数，LoRA 在显著降低资源需求的同时实现了接近 FT 的性能。然而，由于 LoRA 继承了 FT 的设计，灾难性遗忘的问题仍然存在。为解决这些限制，我们提出了 SECURA：Sigmoid-Enhanced CUR Decomposition LoRA，一种新的 PEFT 变体，用于缓解灾难性遗忘并提高微调性能。我们的方法引入了一种新型归一化技术——基于 Sigmoid 的幅值范数 (S-MagNorm)，增强了参数保留和微调效率。SECURA 在包括数学问题解决 (GSM8K)、复杂问答 (CNNDM)、翻译 (NewsDE) 和复杂多选推理 (LogiQA) 等多种任务上进行了评估。实验结果表明，在 Gemma2 2B、Qwen2 1.5B、Qwen2 7B、Llama3 8B 和 Llama3.1 8B 上，SECURA 在四个 MCQ 任务上实现平均微调提升 3.59%，在五个 QA 任务上实现 2.51% 的提升，超越了 DoRA。此外，SECURA 在 16 个持续学习测试中表现出卓越的知识保留能力，保持了超过 70% 的准确率，对比 Experience Replay (ER)、顺序学习 (SEQ)、EWC、I-LoRA 和 CUR-LoRA。
引用
@article{arxiv.2502.18168,
title = {SECURA: Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models},
author = {Yuxuan Zhang},
journal= {arXiv preprint arXiv:2502.18168},
year = {2025}
}
备注
New work on PEFT for LLMs, introducing S-MagNorm and CABR-LoRA to enhance fine-tuning performance and knowledge retention. In v4, we renamed Sigmoid-based Magnitude Normalization to S-MagNorm for clarity and added a gradient comparison between SECURA and CABR-LoRA to highlight their contributions