DoRA：通过动态秩分布增强参数高效微调
计算与语言
2024-06-27 v3
摘要
大规模预训练模型的微调本质上是资源密集型任务。虽然它可以增强模型的能力，但也会产生 substantial 的计算成本，给实际应用下游任务的实际应用提出了挑战。现有的 参数高效微调 (PEFT) 方法，如低秩适应 (LoRA)，依赖于一种忽略不同权重矩阵对参数预算要求差异的旁路框架，可能导致次优的微调结果。为此，我们提出了动态低秩适应 (DoRA) 方法。DoRA 将高秩 LoRA 层分解为结构化单秩组件，允许在训练期间根据其对特定任务的重要性进行参数预算的动态修剪，从而充分利用有限的预算。实验结果表明，DoRA 能够实现与 LoRA 和完整模型微调相当的性能，并在相同的存储参数预算下优于各种强大的基线方法。我们的代码已在 https://github.com/MIkumikumi0116/DoRA 上公开。
引用
@article{arxiv.2405.17357,
title = {DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution},
author = {Yulong Mao and Kaiyu Huang and Changhao Guan and Ganglin Bao and Fengran Mo and Jinan Xu},
journal= {arXiv preprint arXiv:2405.17357},
year = {2024}
}
备注
Accepted by the main conference of ACL 2024