QR-LoRA：基于QR分解的低秩适配用于高效大语言模型微调
机器学习
2025-09-01 v1
摘要
大语言模型（LLM）的规模不断增长，催生了参数高效微调技术的发展。低秩适配（LoRA）作为一种有前景的方案，通过对预训练权重施加低秩更新来减少可训练参数数量。虽然标准LoRA直接学习更新因子，但近期多个变体首选通过预训练权重的奇异值分解（SVD）初始化这些矩阵——这在大型模型上计算昂贵且导致奇异向量解释性不足。本文我们采用带列主轴的QR分解从预训练权矩阵中提取正交基，并将LoRA更新表示为这些基向量的线性组合——仅训练标量系数，这为适应性施加明确结构并大幅降低参数数量。我们在GLUE任务上进行实验，表明QR-LoRA在仅601个参数的情况下，就能匹配或超越全参数微调、标准LoRA以及SVD-LoRA（即采用奇异值分解初始化更新矩阵的LoRA），相较于全参数微调减少了1000倍以上，相较于典型LoRA配置减少77倍。
引用
@article{arxiv.2508.21810,
title = {QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models},
author = {Jessica Liang and Anirudh Bharadwaj},
journal= {arXiv preprint arXiv:2508.21810},
year = {2025}
}