SAMCL：赋能SAM在动态域中持续学习并具备极高存储效率
计算机视觉与模式识别
2025-12-09 v2
摘要
Segment Anything Model（SAM）在具有多样域的开放世界场景中表现不佳。在此类设置中，使用精心设计的学习模块进行朴素微调是不充分的，并且通常在增量学习时导致灾难性遗忘问题。为解决此问题，我们提出了一种针对SAM的新颖持续学习方法SAMCL。与依赖固定学习模块不同，我们的方法将增量知识分解为独立模块，并训练一个选择器在推理时选择合适的模块。然而，这种直观的设计引入了两个关键挑战：确保有效的模块学习与选择，以及管理随任务积累而增长的存储。为解决这些问题，我们引入了两个组件：AugModule和Module Selector。AugModule通过跨层共享参数来减少流行的LoRA学习模块的存储，同时保持准确性。它还利用从点提示生成的显著图，以极低的额外成本进一步增强域适应性。Module Selector利用SAM的嵌入可以有效区分域的观察结果，通过在低消耗嵌入而非原始图像上训练来实现高选择准确率。实验表明，SAMCL优于最先进的方法，仅产生0.19%的遗忘率，并且在未见域上至少获得2.5%的增益。每个AugModule仅需0.233 MB，相比其他微调方法将存储减少了至少24.3%。Module Selector的缓冲存储进一步减少了高达256倍。
引用
@article{arxiv.2412.05012,
title = {SAMCL: Empowering SAM to Continually Learn from Dynamic Domains with Extreme Storage Efficiency},
author = {Zeqing Wang and Kangye Ji and Di Wang and Haibin Zhang and Fei Cheng},
journal= {arXiv preprint arXiv:2412.05012},
year = {2025}
}
备注
Accepted by AAAI'26