多少才算太多？探索 LoRA 秩权衡以保留知识与领域鲁棒性
计算与语言
2025-12-18 v1 人工智能
机器学习
摘要
大型语言模型越来越多地通过微调来适配下游任务。全监督微调（SFT）和参数高效微调（PEFT）方法（如低秩自适应 LoRA）是两种主导方法。尽管 PEFT 方法因其计算效率而被广泛使用，但其配置（如秩）在下游问答任务和泛化中的影响仍未被充分探索。在本工作中，我们在多个推理和回忆数据集上进行了全面评估，通过秩扫描来量化 SFT 与 PEFT 之间的权衡。我们还比较了 PEFT 和 SFT 模型在域内和域外适应中的准确率，突出了不同的泛化行为和任务特定的遗忘现象。我们证明 LoRA 在特定秩值下，特别是在推理任务上，能够取得与 SFT 相当甚至更优的性能。此外，我们通过谱特征和逐层注意力结构分析了内部表示，为表示漂移和注意力模式的结构变化提供了见解。
引用
@article{arxiv.2512.15634,
title = {How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness},
author = {Darshita Rathore and Vineet Kumar and Chetna Bansal and Anindya Moitra},
journal= {arXiv preprint arXiv:2512.15634},
year = {2025}
}
备注
Accepted at AACL IJCNLP 2025