基于文本提示的医学图像序列指代分割
计算机视觉与模式识别
2025-04-15 v2
摘要
指代医学图像序列分割（Ref-MISS）是一种新颖且具有挑战性的任务，旨在基于自然语言描述对医学图像序列（如内镜、超声、CT 和 MRI）中的解剖结构进行分割。该任务在临床应用中具有重要潜力，为医学影像解释提供了用户友好的方式。现有的 2D 和 3D 分割模型难以在医学图像序列中显式跟踪感兴趣的对象，缺乏对互动、文本驱动的支持。为此，我们提出了文本可提示传播（Text-Promptable Propagation, TPP），一种专为指代医学图像序列分割设计的模型。TPP 捕捉序列图像及其关联文本描述之间的内在关系。具体而言，它通过跨模态指代交互实现指referred对象识别，并利用基于 Transformer 的三重传播机制以文本嵌入为查询，实现序列中的连续跟踪。为支持该任务，我们构建了大规模基准数据集 Ref-MISS-Bench，覆盖 4 种成像模态和 20 种不同器官及病灶。在该基准数据集上的实验结果表明，TPP 在医学分割和指代视频对象分割方面均 consistently 优于最新方法。
引用
@article{arxiv.2502.11093,
title = {Text-Promptable Propagation for Referring Medical Image Sequence Segmentation},
author = {Runtian Yuan and Mohan Chen and Jilan Xu and Ling Zhou and Qingqiu Li and Yuejie Zhang and Rui Feng and Tao Zhang and Shang Gao},
journal= {arXiv preprint arXiv:2502.11093},
year = {2025}
}