边界感知测试时自适应用于零样本医学图像分割
计算机视觉与模式识别
2025-12-05 v1
摘要
由于标注数据的稀缺和模型的巨大计算成本，医学图像分割中的传统调优方法面临关键挑战。当前适应预训练模型的方法，包括全参数微调和参数高效微调，仍然严重依赖下游任务特定的训练。因此，零样本分割获得了越来越多的关注，特别是像 SAM 这样的基础模型展示了有前景的泛化能力。然而，由于域偏移，SAM 在医学数据集上仍面临显著局限性，使得高效的零样本增强成为一个紧迫的研究目标。为了解决这些挑战，我们提出 BA-TTA-SAM，一个任务无关的测试时自适应框架，通过测试时自适应显著增强 SAM 的零样本分割性能。该框架集成了两个关键机制：（1）编码器级的高斯提示注入将基于高斯的提示直接嵌入图像编码器，为初始表示学习提供明确指导。（2）跨层边界感知注意力对齐利用 ViT 骨干网络中的分层特征交互，将深层语义响应与浅层边界线索对齐。在包括 ISIC、Kvasir、BUSI 和 REFUGE 在内的四个数据集上的实验显示，与 SAM 的零样本分割性能相比，DICE 分数平均提高了 12.4%。结果表明我们的方法在医学图像分割中持续优于最先进模型。我们的框架显著增强了 SAM 的泛化能力，而无需任何源域训练数据。在公开可用的医学数据集上的广泛实验有力证明了我们框架的优越性。我们的代码可在 https://github.com/Emilychenlin/BA-TTA-SAM 获取。
引用
@article{arxiv.2512.04520,
title = {Boundary-Aware Test-Time Adaptation for Zero-Shot Medical Image Segmentation},
author = {Chenlin Xu and Lei Zhang and Lituan Wang and Xinyu Pu and Pengfei Ma and Guangwu Qian and Zizhou Wang and Yan Wang},
journal= {arXiv preprint arXiv:2512.04520},
year = {2025}
}