HiP-LoRA：面向鲁棒低秩适配的预算感知谱光谱可塑性
机器学习
2026-04-21 v1 计算与语言
摘要
在资源预算限制下适配基础模型高度依赖参数高效微调（PEFT），其中 LoRA 是标准且模块化的解决方案。然而，LoRA 存在谱干扰问题。低秩更新往往集中能量于预训练权重的主导奇异方向上，从而扰乱通用能力，导致灾难性遗忘和脆弱的多适配器合并。为解决此问题，我们提出 HiP-LoRA，一种谱感知的适配框架。利用预训练层的奇异值分解（SVD）缓存，HiP-LoRA 将更新分解为两个通道：一个位于主导奇异子空间内的主通道，以及位于正交补中残差低秩通道。对主通道施加基于奇异值的加权稳定性预算，不断平衡预训练行为的保留与任务特定的可塑性。在 Llama-3.1-8B 上的实验表明，在相同预算下，HiP-LoRA 大幅降低了预训练退化和多适配器 MergeFail， 在干扰敏感的任务（如持续调优和知识编辑）中稳健地超越基线方法。
引用
@article{arxiv.2604.17751,
title = {HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation},
author = {Lixian Chen and Jianhong Tan},
journal= {arXiv preprint arXiv:2604.17751},
year = {2026}
}