LoR2C：低秩残差连接适应用于参数高效微调
计算与语言
2025-03-04 v1 人工智能
摘要
近年来，预训练的大语言模型在各种自然语言处理任务上表现突出。然而，全参数微调方法需要调整所有模型参数，导致巨大的计算资源需求。虽然参数高效微调方法如LoRA显著减少了参数数量，但仍面临梯度消失问题以及进一步降低参数的潜在挑战。为此，本文提出一种新的参数高效微调方法，称为LoR2C（Low-Rank Residual Connection Adaptation）。LoR2C在模型层中引入带低秩矩阵的残差连接，不仅减少了微调参数，还有效缓解了梯度消失问题。此外，本文提出了LoR2C的三个优化变体：ShareLoR2C、MergeLoR2C和InjectLoR2C，这些变体通过参数共享、模块合并和注入机制进一步提高了参数效率和模型性能。在多个自然语言理解和自然语言生成任务上的实验结果表明，LoR2C及其优化变体在显著降低参数开销的同时，能够保持甚至提升性能，超越了现有的主流参数高效微调方法。我们的代码已公开于https://github.com/Oblivioniss/LoR2C。
引用
@article{arxiv.2503.00572,
title = {LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning},
author = {Jiancheng Zhao and Xingda Yu and Yuxiang Zhang and Zhen Yang},
journal= {arXiv preprint arXiv:2503.00572},
year = {2025}
}