SARA：基于奇异值的自适应低秩适配
机器学习
2024-08-07 v1 计算与语言
摘要
随着大型预训练模型参数数量的增加，LoRA作为一种参数高效微调（PEFT）方法被广泛使用，且不会带来推理开销。LoRA方法假设微调过程中的权重变化可以用低秩矩阵来近似。然而，秩值需要人工验证以匹配不同的下游任务，而且无法适应模型中不同层的重要性差异。在本工作中，我们首先利用SVD分析不同层的性能与其秩之间的关系。基于此，我们设计了基于奇异值的自适应低秩适配（SARA），该方法通过在预训练权重上执行SVD来在初始化时自适应地寻找秩。此外，我们探索了混合SARA（Mo-SARA），该方法通过路由器控制多组并行奇异值进行微调，从而显著减少了参数数量。在各种复杂任务上的大量实验证明了所提方法的简洁性和参数效率。它们能够有效且自适应地为每个模型的每一层找到最合适的秩。
引用
@article{arxiv.2408.03290,
title = {SARA: Singular-Value Based Adaptive Low-Rank Adaption},
author = {Jihao Gu and Shuai Chen and Zelin Wang and Yibo Zhang and Ping Gong},
journal= {arXiv preprint arXiv:2408.03290},
year = {2024}
}