LoRA-XS：具有极少量参数的低秩自适应
机器学习
2025-08-21 v3 人工智能
计算与语言
摘要
大语言模型的增长凸显了参数高效微调的需求。尽管LoRA很流行，但在部署多个任务或用户特定模块时面临存储和计算挑战。为解决此问题，我们提出了LoRA-XS，一种有理论推导支持的新型微调方法。LoRA-XS通过在预训练权重的奇异值分解得到的冻结低秩矩阵之间插入一个小的可训练权重矩阵，大幅减少了可训练参数。这种设计使LoRA-XS在7B模型中的存储需求比LoRA降低100倍以上。此外，与其他方法不同，LoRA-XS对可训练参数没有下限——它可以从每个模块单个参数扩展到任意大的值，适应任何存储或计算约束。在GLUE、GSM8K、MATH和常识推理基准上跨不同模型规模的评估表明，LoRA-XS在准确率上持续优于或匹配LoRA和VeRA，提供了无与伦比的参数效率。我们的消融研究强调了Transformer权重中奇异向量的重要性，确立了LoRA-XS作为扩展和个性化大语言模型的一种强大、存储高效的解决方案。
引用
@article{arxiv.2405.17604,
title = {LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters},
author = {Klaudia Bałazy and Mohammadreza Banaei and Karl Aberer and Jacek Tabor},
journal= {arXiv preprint arXiv:2405.17604},
year = {2025}
}