PALoRA：用于保持推理能力的投影自适应LoRA
人工智能
2026-05-26 v1
摘要
高效更新大型语言模型（LLM）以融入新或演化的事实知识始终是中心性挑战，因为即便是参数高效的适应也可能削弱先前获得的推理能力。这种张力反映出一种可塑性-稳定性困境：模型必须吸收新知识，同时保留关键技能的表示。本文通过多层感知器权重矩阵的谱结构研究了这一权衡。我们既在理论上又通过实证方式表明，对于推理至关重要的信息并不仅仅局限于主导奇异方向，而是分布在整个奇异谱上。基于这一观察，我们引入PALoRA，这是一个在知识注入方面具有减少干扰的双阶段框架。PALoRA首先在推理数据集上训练一个奇异值微调（SVF）专家，并使用其学习到的奇异比例向量作为冻结的几何探针，以识别对目标技能至关重要的组件。随后，在结构正交约束下进行事实知识注入，使用低秩适应（LoRA），确保更新规避了已识别的技能相关子空间。针对Llama 3.1 8B和Mistral 7B，以及数学、编码和科学推理基准测试，PALoRA在保持SVF专家推理性能方面平均达到95%，同时保持竞争的事实记忆能力。它在技能保持方面持续优于先前的谱参数高效微调（PEFT）方法，仅增加不到0.006%的参数开销。
引用
@article{arxiv.2605.24549,
title = {PALoRA: Projection-Adaptive LoRA for Preserving Reasoning in Large Language Models},
author = {Mustafa Hayri Bilgin and Mariam Barry and Albert Bifet and Azzedine Idir Ait Said and Soumya Banerjee},
journal= {arXiv preprint arXiv:2605.24549},
year = {2026}
}