DiffoRA：基于差分模块选择实现参数高效微调
计算机视觉与模式识别
2025-06-05 v2
摘要
参数高效微调 (PEFT) 方法已在下游任务中广泛应用于大语言模型。尽管有效，但 LoRA 及其自适应优化要么为所有模块分配相同的矩阵，要么根据重要性评分指标调整组件的内部秩。在本文中，我们认为并非所有 LLM 中的模块都适合且必需进行微调。基于此洞察，我们提出了一种新的 PEFT 方案，即 DiffoRA，实现了对低秩分解矩阵的自适应采用。DiffoRA 的核心是差分适应矩阵 (DAM)，用于确定哪些模块最适合且最必要进行微调。我们理论上解释了所设计矩阵对预训练模型收敛速度和泛化能力的影响。随后，我们通过连续松弛和离散化构建 DAM，并进行权重共享优化。我们充分实现了 DiffoRA，并设计了全面的实验来评估其性能。实验结果表明，DiffoRA 在多个基准测试中实现了最先进的性能。
引用
@article{arxiv.2502.08905,
title = {DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection},
author = {Tangyu Jiang and Haodi Wang and Chun Yuan},
journal= {arXiv preprint arXiv:2502.08905},
year = {2025}
}