SimTxtSeg：基于简单文本线索的弱监督医学图像分割
计算机视觉与模式识别
2024-09-26 v3
摘要
弱监督医学图像分割旨在降低标注成本的同时保持分割性能。本文提出了一种新框架SimTxtSeg，通过简单文本线索生成高质量的伪标签，并在训练分割模型时研究跨模态融合。我们的贡献包含两个关键组件：一个有效的文本到视觉线索转换器(TCT)，用于在医学图像上从文本线索生成视觉提示，以及一个具有文本-视觉混合注意力的文本引导分割模型，用于融合文本和图像特征。我们在两种医学图像分割任务上评估了该框架：结肠息肉分割和MRI脑肿瘤分割，实现了一致的最先进性能。源代码可在 https://github.com/xyx1024/SimTxtSeg 获取。
引用
@article{arxiv.2406.19364,
title = {SimTxtSeg: Weakly-Supervised Medical Image Segmentation with Simple Text Cues},
author = {Yuxin Xie and Tao Zhou and Yi Zhou and Geng Chen},
journal= {arXiv preprint arXiv:2406.19364},
year = {2024}
}
备注
accepted by MICCAI 2024