AutoMiSeg：通过基础模型测试时自适应实现自动医学图像分割
计算机视觉与模式识别
2025-10-07 v2 人工智能
机器学习
摘要
医学图像分割对于临床诊断至关重要，然而当前的深度学习方法通常需要大量的专家工作，即要么为每个新病例标注大型训练数据集，要么在推理时提供提示。本文提出了一种零样本自动分割流程，该流程结合了现成的视觉-语言和分割基础模型。给定医学图像和任务定义（例如，“在眼底图像中分割视盘”），我们的方法使用接地模型生成初始边界框，随后通过视觉提示增强模块增强提示，再由可提示分割模型处理以生成最终掩膜。为了解决领域差距和结果验证的挑战，我们引入了一个测试时自适应框架，该框架具有一组可学习的适配器，可将医学输入与基础模型表示对齐。其超参数通过贝叶斯优化进行优化，并由代理验证模型指导，无需真实标签。我们的流程为跨不同任务的零样本医学图像分割提供了一种标注高效且可扩展的解决方案。我们在七个不同的医学影像数据集上评估了我们的流程，并显示出有前景的结果。通过适当的分解和测试时自适应，我们全自动的流程不仅大幅超越了先前最佳方法，准确率相对提升了69%（Dice分数从42.53提升至71.81），而且与弱提示的交互式基础模型相比也表现出竞争力。
引用
@article{arxiv.2505.17931,
title = {AutoMiSeg: Automatic Medical Image Segmentation via Test-Time Adaptation of Foundation Models},
author = {Xingjian Li and Qifeng Wu and Adithya S. Ubaradka and Yiran Ding and Colleen Que and Runmin Jiang and Jianhua Xing and Tianyang Wang and Min Xu},
journal= {arXiv preprint arXiv:2505.17931},
year = {2025}
}