面向通用医学图像分割的SAM感知测试时适应
计算机视觉与模式识别
2026-01-06 v2
摘要
利用Segment Anything Model（SAM）进行医学图像分割仍面临其在不同医学领域适应性有限的挑战。虽然经过微调的变体（如MedSAM）在类似训练模态或器器器官的场景中可提高性能，但可能缺乏对未见数据的通用性。为此，我们提出了SAM感知测试时适应（SAM-TTA），一个轻量且灵活的框架，在保持SAM固有泛化能力的同时提高医学图像的分割精度。SAM-TTA解决了两个主要挑战：（1）由于自然图像与医学图像之间的通道不匹配导致的输入层次差异，（2）由于自然图像与医学图像中不同对象特征的语义层次差异（例如清晰边界 vs. 模糊结构）。为此，我们引入两个互补组件：基于自适应贝塞尔曲线转换（SBCT），通过少量可在测试时优化的可学习参数，将单通道医学图像映射到SAM兼容的三通道图像；以及基于IoU引导的多尺度适应（IMA），利用SAM内在的IoU分数来实现高输出置信度、双尺度预测一致性和中间特征一致性，以提高语义层次对齐。广泛的实验在八个公开医学图像分割任务上进行，覆盖六个灰度和两个彩色（内窥镜）任务，表明SAM-TTA在测试时适应方法中始终优于最先进技术。值得注意的是，在六个灰度数据集上，SAM-TTA甚至超越了全部分配微调模型，实现了显著的Dice提升（即相对于MedSAM和SAM-Med2D平均提升4.8%和7.4%），确立了通用医学图像分割的新范式。代码已公开于https://github.com/JianghaoWu/SAM-TTA。
引用
@article{arxiv.2506.05221,
title = {SAM-aware Test-time Adaptation for Universal Medical Image Segmentation},
author = {Jianghao Wu and Yicheng Wu and Yutong Xie and Wenjia Bai and You Zhang and Feilong Tang and Yulong Li and Imran Razzak and Daniel F Schmidt and Yasmeen George},
journal= {arXiv preprint arXiv:2506.05221},
year = {2026}
}
备注
10 pages, 5 figures