DenseLoRA：大型语言模型的密集低秩适配
计算与语言
2026-04-13 v1 人工智能
摘要
低秩适配（LoRA）作为一种高效方法被开发出来，通过微调两个低秩矩阵来适配大型语言模型（LLMs），从而减少可训练参数的数量。然而，先前的研究表明，这些矩阵中的许多权重是冗余的，导致参数利用效率低下。为解决这一局限性，我们引入了密集低秩适配，这是一种新方法，在实现相比 LoRA 更优性能的同时提升了参数效率。DenseLoRA 构建于表示微调的概念之上，在应用适配之前，引入单一的 Encoder-Decoder 来细化并压缩所有适配层的隐藏表示。DenseLoRA 不像 LoRA 那样依赖两个冗余的低秩矩阵，而是通过一个密集低秩矩阵来适配 LLMs，从而提高参数利用率和适配效率。我们在多种基准上评估了 DenseLoRA，结果表明，在 LLaMA3-8B 上，仅使用 0.01% 的可训练参数便达到了 83.8% 的准确率，而 LoRA 使用 0.70% 的可训练参数达到的准确率为 80.8%。此外，我们进行了大量实验，系统评估了 DenseLoRA 各组件对整体模型性能的影响。代码可在 https://github.com/mulin-ahu/DenseLoRA 获取。
引用
@article{arxiv.2505.23808,
title = {DenseLoRA: Dense Low-Rank Adaptation of Large Language Models},
author = {Lin Mu and Xiaoyu Wang and Li Ni and Yang Li and Zhize Wu and Peiquan Jin and Yiwen Zhang},
journal= {arXiv preprint arXiv:2505.23808},
year = {2026}
}