针对连续学习场景下的医学图像分割的SAM持续对齐
计算机视觉与模式识别
2025-11-24 v1
摘要
在医学图像分割领域，跨机构的异构隐私政策常常使无法对池化数据集进行联合训练，动机是从数据流中进行持续图像分割学习而不发生灾难性遗忘。虽然 Segment Anything Model（SAM）提供了强大的零样语言先验，并已被广泛微调以适应下游任务，但其大参数量和计算开销在实际部署中构成挑战。本文表明，SAM 范式在其计算效率和性能得到平衡后，具有极大的前景。为此，我们引入 Alignment Layer，一个轻量级、即插即用的模块，通过对齐编码器-解码器特征分布来高效适应特定医学图像，提高精度的同时降低计算量。基于 SAM 和 Alignment Layer，我们随后提出了持续对齐 SAM（CA-SAM），一种持续学习策略，自动为需要的 Alignment Layer 适配，以缓解灾难性遗忘，同时利用 SAM 的零样语言先验保留在未见医学数据集上的强性能。我们在九个医学分割数据集上进行了持续学习场景下的实验，CA-SAM 实现了最先进的性能。我们的代码、模型和数据集将发布于 \mbox{https://github.com/azzzzyo/Continual-Alignment-for-SAM.}。
引用
@article{arxiv.2511.17201,
title = {Continual Alignment for SAM: Rethinking Foundation Models for Medical Image Segmentation in Continual Learning},
author = {Jiayi Wang and Wei Dai and Haoyu Wang and Sihan Yang and Haixia Bi and Jian Sun},
journal= {arXiv preprint arXiv:2511.17201},
year = {2025}
}