ShapLoRA：通过受 Shapley 值启发的重要性估计在大语言模型上分配低秩适配
计算与语言
2026-01-27 v1
摘要
低秩适配是参数高效微调（PEFT）领域的代表性方法，也是实现现代大语言模型（LLM）大众化的关键。原始的 LoRA 以均匀秩实现，近期的研究发现，在 LLM 骨干网络上适当分配秩可以提升性能。然而，以往的秩分配方法存在局限性，因为它们依赖于不可解释且不可靠的 LoRA 秩重要性度量。为了解决上述问题，我们提出了 ShapLoRA 框架。受可解释的归因度量 Shapley 值的启发，我们将基于敏感性的度量与 LoRA 秩之间协作博弈中的联盟思想相结合，提出了一种更具可解释性的重要性度量，称为 Shapley 敏感性。此外，我们通过以下方式优化了现有工作的工作流程： 在独立的验证集上计算 Shapley 敏感性； 设置分配-重训练流程以进行公平比较。我们在各种具有挑战性的任务上进行了实验，实验结果表明，我们的 ShapLoRA 方法在可调参数量相当的情况下优于近期的基线方法。
引用
@article{arxiv.2601.17921,
title = {ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation},
author = {Yi Zhao and Qinghua Yao and Xinyuan song and Wei Zhu},
journal= {arXiv preprint arXiv:2601.17921},
year = {2026}
}
备注
accepted by CPAL