谱精手术：基于梯度引导的LoRA训练-free精炼
机器学习
2026-03-05 v1 人工智能
摘要
低秩适应(LoRA)通过将任务更新限制在低秩参数子空间内来提高下游性能，但这种有限容量在训练的适配器内部如何分配仍不明确。通过对多个任务和不同骨干网络的几何和实证研究，我们发现训练后的LoRA更新常表现为低效的谱分布：任务效应集中在少数奇异方向上，而许多剩余分量则为中性或有害的，这激励了在已学习的子空间内进行后验精炼。我们提出了谱精手术(Spectral Surgery)，这是一种训练-free的精炼方法，通过SVD分解LoRA更新，利用梯度估计校准集上的各分量灵敏度，并在保持已学习方向不变的前提下，在幅度约束下对奇异值进行重加权。在Llama-3.1-8B和Qwen3-8B上进行四项基准测试中，谱精手术均实现了一致的性能提升（在CommonsenseQA上提升最高可达+4.4分，在HumanEval上提升最高可达+2.4个pass@1），仅调整约1,000个标量系数。这些结果表明，SVD结构化的低成本参数编辑可作为实用方法，纯粹在事后方式改进训练好的LoRA适配器。
引用
@article{arxiv.2603.03995,
title = {Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting},
author = {Zailong Tian and Yanzhe Chen and Zhuoheng Han and Lizi Liao},
journal= {arXiv preprint arXiv:2603.03995},
year = {2026}
}