BA-LoRA：一种缓解偏差的低秩适应方法以减轻大型语言模型中的灾难性继承
计算与语言
2026-03-04 v7 机器学习
摘要
参数高效微调（PEFT）已成为适应大型语言模型（LLM）的事实标准。然而，我们在流行的低秩适应方法（如 LoRA）中发现了一个关键漏洞：它们倾向于加剧“灾难性继承”——即预训练中偏差、噪声和数据不平衡的无节制传播。这种现象会降低模型的鲁棒性和公平性，削弱高效适应的优势。为了解决这个问题，我们提出了缓解偏差的低秩适应（BA-LoRA）。我们的方法基于将灾难性继承原则性地分解为三个核心挑战：知识漂移、表征坍缩和对噪声的过拟合。BA-LoRA 通过引入一组针对性的正则化项——一致性、多样性和 SVD——系统地缓解这些问题，旨在保留核心知识、增强表征丰富性并促进鲁棒的低秩输出表征。我们使用多种知名的开源语言模型（例如 LLaMA-2-7B 和 DeBERTa-v3-base），在一系列自然语言理解（NLU）和自然语言生成（NLG）任务上进行了全面评估。我们的结果表明，BA-LoRA 不仅在性能和稳定性上优于最先进的 LoRA 变体，而且在针对性评估中定量地展示了更优的鲁棒性和偏差缓解能力。这证实了它能够抵消灾难性继承的不利影响。
引用
@article{arxiv.2408.04556,
title = {BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models},
author = {Yupeng Chang and Yi Chang and Yuan Wu},
journal= {arXiv preprint arXiv:2408.04556},
year = {2026}
}
备注
25 pages