基于零空间滤波的数据无关式持续模型融合：保持稳定性，促进塑性
机器学习
2026-03-17 v2
摘要
数据无关式持续模型融合（Data-free continual model merging, DFCMM）旨在将独立微调的模型融合为一个随新任务而演化的单一主干网络，且无需访问任务数据。本文重审DFCMM的两个基本需求：稳定性（避免干扰先前任务）和塑性（忠实适应每个新任务）。这提出了现有方法难以解决的挑战：如何在缺乏任务数据的情况下，将数据层面的需求与参数空间优化桥接，以确保稳定性和塑性。为此，我们提出NUFILT（NUll-space FILTering），一个数据无关框架，直接将这些需求链接到参数空间优化中。我们的关键观察是，任务向量大致与表示子空间对齐，为强制执行稳定性和塑性提供结构性替代方案。因此，我们设计了零空间投影器，通过滤波新任务向量的重叠分量来保持先前响应，从而确保稳定性。我们进一步引入轻量级LoRA适配器，以注入补充的任务特定信号以实现塑性。该适配器通过基于投影的代理损失训练，既保留先前知识的一致性，又引入新方向。这种联合滤波-适应过程使主干网络能够吸收新知识，同时保留既有行为，以层级线性方式融合更新，无需额外参数或推理成本。理论上，我们建立了近似子空间对齐保证，论证零空间滤波的有效性。实验上，NUFILT在视觉和NLP基准测试上实现了最先进的性能，仅因遗忘而显著降低，在OPCM和WUDI-Merging上平均准确率提升4-7%，缩小与微调之间的差距，降低计算开销。代码已公开：https://github.com/zihuanqiu/NUFILT
引用
@article{arxiv.2509.21413,
title = {Null-Space Filtering for Data-Free Continual Model Merging: Preserving Stability, Promoting Plasticity},
author = {Zihuan Qiu and Lei Wang and Yang Cao and Runtong Zhang and Bing Su and Yi Xu and Fanman Meng and Linfeng Xu and Qingbo Wu and Hongliang Li},
journal= {arXiv preprint arXiv:2509.21413},
year = {2026}
}
备注
Accepted by ICLR 2026