UORA：大模型参数高效微调中的均匀正交重初始化适配
计算与语言
2025-05-27 v1
摘要
本文介绍了均匀正交重初始化适配（UORA），这是一种用于大语言模型（LLMs）的新型参数高效微调（PEFT）方法。UORA 通过利用低秩近似方法来减少可训练参数的数量，实现了最先进的性能和参数效率。与 LoRA 和 VeRA 等现有方法不同，UORA 采用了一种基于插值的重参数化机制，该机制在向量幅度启发式方法的指导下，选择性地重新初始化冻结投影矩阵中的行和列。这使得可训练参数数量相比 LoRA 大幅减少，并且在计算和存储效率上优于 VeRA。跨多个基准的综合实验证明了 UORA 在以可忽略的计算开销实现有竞争力的微调性能方面的优越性。我们展示了其在 GLUE 和 E2E 基准上的性能，以及在大语言模型指令微调和图像分类模型中的有效性。我们的贡献为可扩展且资源高效的大语言模型微调建立了一个新范式。
引用
@article{arxiv.2505.20154,
title = {UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models},
author = {Xueyan Zhang and Jinman Zhao and Zhifei Yang and Yibo Zhong and Shuhao Guan and Linbo Cao and Yining Wang},
journal= {arXiv preprint arXiv:2505.20154},
year = {2025}
}
备注
20 pages, 2 figures, 15 tables