AdaLoRA：面向参数高效微调的自适应预算分配
计算与语言
2023-12-22 v2 机器学习
摘要
在下游任务上微调大型预训练语言模型已成为NLP中的重要范式。然而，常见的做法是微调预训练模型中的所有参数，当存在大量下游任务时，这会变得不可行。因此，提出了许多微调方法，以参数高效的方式学习预训练权重的增量更新，例如低秩增量。这些方法通常将增量更新的预算均匀分配给所有预训练权重矩阵，而忽略了不同权重参数的重要性差异。因此，微调性能是次优的。为了弥补这一差距，我们提出了AdaLoRA，它根据权重矩阵的重要性分数自适应地分配参数预算。具体而言，AdaLoRA以奇异值分解的形式对增量更新进行参数化。这种新颖的方法使我们能够有效地剪枝不重要更新的奇异值，这本质上是减少了它们的参数预算，同时避免了密集的精确SVD计算。我们在自然语言处理、问答和自然语言生成方面使用几个预训练模型进行了广泛实验，以验证AdaLoRA的有效性。结果表明，AdaLoRA相比基线表现出显著改进，尤其是在低预算设置下。我们的代码公开于 https://github.com/QingruZhang/AdaLoRA。
引用
@article{arxiv.2303.10512,
title = {AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning},
author = {Qingru Zhang and Minshuo Chen and Alexander Bukharin and Nikos Karampatziakis and Pengcheng He and Yu Cheng and Weizhu Chen and Tuo Zhao},
journal= {arXiv preprint arXiv:2303.10512},
year = {2023}
}
备注
The 11th International Conference on Learning Representations (ICLR 2023)