释放扩散模型与状态空间模型用于医学图像分割
计算机视觉与模式识别
2025-07-02 v2 人工智能
摘要
现有在单一医学影像数据集上训练的划分模型在遇到未见器官或肿瘤时往往缺乏鲁棒性。开发能够识别训练数据中未出现的罕见或新型肿瘤类别的鲁棒模型，对于推进医学影像应用至关重要。我们提出 DSM，一个利用扩散模型与状态空间模型对训练数据之外的未见肿瘤类别进行分割的新型框架。DSM 利用两组在修改后的注意力解码器中训练的对象查询来提升分类精度。最初，模型通过一种面向对象的特征分组策略学习器官查询，以捕捉器官级别的视觉特征。随后，它通过聚焦于基于扩散的视觉提示来优化肿瘤查询，从而实现对先前未见肿瘤的精确分割。此外，我们引入扩散引导的特征融合以提升语义分割性能。通过整合 CLIP 文本嵌入，DSM 捕捉类别敏感类别以改善语言迁移知识，从而增强模型在多样化场景和多标签任务中的鲁棒性。大量实验证明了 DSM 在各种肿瘤分割任务中的优越性能。代码可在 https://github.com/Rows21/k-Means_Mask_Mamba 获取。
引用
@article{arxiv.2506.12747,
title = {Unleashing Diffusion and State Space Models for Medical Image Segmentation},
author = {Rong Wu and Ziqi Chen and Liming Zhong and Heng Li and Hai Shu},
journal= {arXiv preprint arXiv:2506.12747},
year = {2025}
}