RegCL：通过模型合并实现段落模型的持续适应
机器学习
2025-07-17 v1 计算机视觉与模式识别
摘要
为解决段落模型（SAM）在特定领域性能的局限，现有工作主要采用基于适配器的单步适应范式。然而，这些方法往往针对特定领域开发，如果用于其他领域可能导致性能下降。这一灾难性遗忘问题严重限制了模型的可扩展性。为此，本文提出了 RegCL，一种 novel non-replay continual learning（CL）框架，旨在通过模型合并实现高效的多域知识集成。具体而言，RegCL 将模型合并算法引入持续学习范式，通过合并在不同领域训练的 SAM 适应模块（如 LoRA 模块）的参数。该合并过程由权重优化引导，最小化合并后模型与各领域特定模型之间的预测差异。RegCL 有效整合了多域知识，同时保持参数效率，即模型大小随任务数量不变，且无需存储历史数据。实验结果表明，RegCL 在多个下游数据集上实现了 favorable 持续学习性能，验证了其在动态场景中的有效性。
引用
@article{arxiv.2507.12297,
title = {RegCL: Continual Adaptation of Segment Anything Model via Model Merging},
author = {Yuan-Chen Shu and Zhiwei Lin and Yongtao Wang},
journal= {arXiv preprint arXiv:2507.12297},
year = {2025}
}