基于零空间压缩的无标签跨任务 LoRA 合并

模型合并不需联合多任务训练即可组合独立微调后的检查点。在基础模型时代，使用低秩适应（LoRA）进行微调已十分普遍，使 LoRA 合并成为一个有前景的目标。现有方法在所有目标任务均为分类的同质设置下可行，但在任务横跨分类和回归时往往失效。基于熵的代理方法不适用于回归，且由于长 token 序列，在大语言模型上代价高昂。我们提出了零空间压缩（Null-Space Compression, NSC）合并，一种无标签、输出无关的方法，通过适配器几何结构设置合并权重。我们的关键观察是：在 LoRA 微调过程中，$\Delta W = BA$ 中的降维因子 $A$ 会压缩其零空间，且该压缩程度与性能相关。NSC 利用这一信号进行合并，可泛化至分类、回归和序列生成任务。NSC 在二十个异构视觉任务上取得了最先进性能，在先前方法过拟合的任务子集上实现了均衡提升。它还在六个 NLI 基准和 VQA 及图像描述等视觉语言评估上优于基线，展示了可扩展性和有效性。