DeLoRA：在低秩适应中解耦角度与强度
机器学习
2025-05-20 v2 计算与语言
计算机视觉与模式识别
摘要
参数高效微调 (PEFT) 方法最近因大规模预训练模型的广泛可用性而获得了显著流行。这些方法允许以最小的计算成本快速适应下游任务。然而，流行的微调方法如 LoRA 在 hyperparameter 选择或扩展训练 regime 时表现有限，无法实现最佳的开箱即用性能。相比之下，受限于极低秩适应和固定强度转换的有界方法（如 ETHER），提供了更大的鲁棒性，但限制了适应的表达能力。在本工作中，我们提出解耦低秩适应 (DeLoRA)，一种新的微调方法，通过归一化和缩放可学习的低秩矩阵来实现。通过对转换的距离进行边界控制，DeLoRA 有效地将角度学习从适应强度中解耦，从而在不损害性能的前提下增强了鲁棒性。通过在主导图像生成、自然语言理解和指令调优上的评估，我们展示了 DeLoRA 匹配或超越了竞争 PEFT 方法的性能，同时表现出更强的鲁棒性。代码可在 https://github.com/ExplainableML/DeLoRA 获取。
引用
@article{arxiv.2503.18225,
title = {DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation},
author = {Massimo Bini and Leander Girrbach and Zeynep Akata},
journal= {arXiv preprint arXiv:2503.18225},
year = {2025}
}
备注
ICLR 2025