ALoRA：面向大语言模型微调的分配式低秩自适应
计算与语言
2024-04-16 v2
摘要
在大语言模型时代，参数高效微调（PEFT）因其有效性和效率而被广泛研究。低秩自适应（LoRA）作为一种流行且具代表性的方法，展现出了令人赞赏的性能。然而，它的实现使用了固定的本征秩，这可能不是下游任务的理想设置。认识到对更灵活的下游任务自适应的需求，我们将 LoRA 的方法扩展为一种创新方法，称为分配式低秩自适应（ALoRA），该方法能够在自适应过程中对本征秩进行动态调整。首先，我们提出了一种新方法 AB-LoRA，能够有效估计每个 LoRA 秩的重要性得分。其次，在 AB-LoRA 的指导下，我们逐步修剪冗余且产生负面影响的 LoRA 秩，并将修剪出的 LoRA 预算分配给需要更高秩的重要 Transformer 模块。我们在各种任务上进行了实验，实验结果表明我们的 ALoRA 方法在可比的可调参数下优于最近的基线方法。
关键词
引用
@article{arxiv.2403.16187,
title = {ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models},
author = {Zequan Liu and Jiawen Lyn and Wei Zhu and Xing Tian and Yvette Graham},
journal= {arXiv preprint arXiv:2403.16187},
year = {2024}
}
备注
Accepted by NAACL-2024