权重谱诱导的高效模型适配
机器学习
2025-05-30 v1
摘要
大规模基础模型在广泛的下游任务中展现出了卓越的通用性。然而，对这些模型进行全量微调会产生极高的计算成本，促使了参数高效微调（PEFT）方法的发展，例如 LoRA，它对预训练权重引入低秩更新。尽管取得了经验上的成功，但 PEFT 修改模型参数的潜在机制仍未被充分探索。在本工作中，我们对全量微调期间权重矩阵的结构变化进行了系统研究。通过奇异值分解（SVD），我们揭示了微调主要放大了顶部奇异值，而其余奇异值基本保持不变，这表明任务特定知识被注入到一个低维子空间中。此外，我们发现主导奇异向量在任务特定方向上被重新定向，而非主导子空间则保持稳定。基于这些见解，我们提出了一种新颖的方法，该方法利用顶部奇异方向的可学习重缩放，在不破坏全局结构的情况下实现对最具影响力分量的精确调制。我们的方法在多个任务上取得了优于强基线的一致提升，凸显了结构化微调的有效性。
引用
@article{arxiv.2505.23099,
title = {Weight Spectra Induced Efficient Model Adaptation},
author = {Chongjie Si and Xuankun Yang and Muqing Liu and Yadao Wang and Xiaokang Yang and Wenbo Su and Bo Zheng and Wei Shen},
journal= {arXiv preprint arXiv:2505.23099},
year = {2025}
}