SingLoRA: 使用单一矩阵的低秩适配
人工智能
2025-07-09 v1
摘要
低秩适配(LoRA)显著推进了大型预训练模型的参数高效微调。LoRA通过添加两个较小矩阵的乘积来增强模型的预训练权重,这两个矩阵共同构成一个低秩矩阵更新。最近的研究表明,这两个矩阵之间的尺度差异常常导致不稳定的训练动态,从而产生次优性能。在本文中,我们提出了SingLoRA,它通过将权重更新学习为单个低秩矩阵与其转置的乘积分解,重新构建了低秩适配。这种简单的设计从本质上消除了矩阵间的尺度冲突,确保了稳定的优化,并将参数量大致减半。我们在无限宽神经网络框架内分析了SingLoRA,表明它通过构造保证了稳定的特征学习。在多个任务上的大量实验验证了这些优势。在常识推理中,使用SingLoRA对LLama 7B在MNLI上进行微调达到了91.3%的准确率——超过了LoRA(89.1%)和LoRA+(90.2%)——同时仅使用了它们60%的参数预算。在图像生成中,使用SingLoRA对Stable Diffusion进行微调显著提高了DreamBooth上的图像保真度,达到了0.151的DINO相似度分数,而DoRA和LoRA的分数分别为0.148和0.143。
引用
@article{arxiv.2507.05566,
title = {SingLoRA: Low Rank Adaptation Using a Single Matrix},
author = {David Bensaïd and Noam Rotstein and Roy Velich and Daniel Bensaïd and Ron Kimmel},
journal= {arXiv preprint arXiv:2507.05566},
year = {2025}
}