MSPLoRA：面向高效模型微调的多尺度金字塔低秩适配
计算与语言
2025-03-31 v1 人工智能
摘要
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）已成为在降低计算成本的同时适配大规模预训练模型的关键方法。在PEFT方法中，LoRA通过将权重更新分解为低秩矩阵来显著减少可训练参数。然而，传统LoRA在所有层上应用固定秩，未能考虑层次化信息的不同复杂度，导致适应效率低下和冗余。为此，我们提出MSPLoRA（Multi-Scale Pyramid LoRA），引入全局共享LoRA、中级共享LoRA和层级特定LoRA，分别捕获全局模式、中级特征和细粒度信息。这种层次结构在减少层间冗余的同时保持强大的适应能力。在 various NLP 任务上的实验表明，MSPLoRA实现了更高效的适应和更好性能，同时显著减少可训练参数的数量。进一步的奇异值分解分析验证了其信息解耦能力，凸显MSPLoRA作为大语言模型参数高效微调中可扩展且有效的优化策略。我们的代码已公开于 https://github.com/Oblivioniss/MSPLoRA。
引用
@article{arxiv.2503.21838,
title = {MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning},
author = {Jiancheng Zhao and Xingda Yu and Zhen Yang},
journal= {arXiv preprint arXiv:2503.21838},
year = {2025}
}