降低低秩适应中的遗忘现象
机器学习
2025-12-22 v1 机器学习
摘要
参数高效微调方法，如低秩适应（Low-Rank Adaptation, LoRA），能够快速将大型预训练模型针对不同的下游应用进行专业化。然而，这一过程常常导致模型先前领域知识的灾难性遗忘。我们提出 LaLoRA，一种应用于低秩适应的权重空间正则化技术，通过拉普拉斯近似来实现。该方法估计模型对每个参数的置信水平，并约束高曲率方向上的更新，在保留先前知识的同时，实现对目标领域的高效学习。仅对 LoRA 权重应用拉普拉斯近似，使该方法保持轻量级。我们通过为数学推理任务微调 Llama 模型来评估 LaLoRA，展示了改进的学习-遗忘权衡，这可以通过方法的正则化强度直接控制。我们进一步探讨了不同损失景观曲率近似用于估计参数置信度的方法，分析了用于拉普拉斯近似的数据的影响，并研究了超参数的鲁棒性。
引用
@article{arxiv.2512.17720,
title = {Mitigating Forgetting in Low Rank Adaptation},
author = {Joanna Sliwa and Frank Schneider and Philipp Hennig and Jose Miguel Hernandez-Lobato},
journal= {arXiv preprint arXiv:2512.17720},
year = {2025}
}