TextBraTS：基于文本引导的容积脑肿瘤分割与创新数据集开发和融合模块探索
计算机视觉与模式识别
2025-06-24 v2 多媒体
摘要
深度学习在医学图像分割和计算机辅助诊断中取得了显著成功。特别是，许多先进方法在基于MRI扫描的脑肿瘤分割中已达到最先进的性能。尽管近期其他医学影像领域的研究表明，将文本报告与视觉数据相结合可以提高分割精度，但脑肿瘤分析领域缺乏一个将放射影像与相应文本注释相结合的综合数据集。这一局限性阻碍了利用影像和文本数据多模态方法的探索。为弥合这一关键差距，我们引入了TextBraTS数据集，这是首个公开可用的容积级多模态数据集，包含配对的MRI容积和丰富的文本注释，源自广泛采用的BraTS2020基准。基于这一新颖数据集，我们提出了一种新颖的基线框架和用于文本引导的容积医学图像分割的顺序交叉注意力方法。通过使用各种文本-图像融合策略和模板化文本公式进行的大量实验，我们的方法在脑肿瘤分割精度上取得了显著提升，为有效的多模态集成技术提供了宝贵见解。我们的数据集、实现代码和预训练模型可在 https://github.com/Jupitern52/TextBraTS 公开获取。
引用
@article{arxiv.2506.16784,
title = {TextBraTS: Text-Guided Volumetric Brain Tumor Segmentation with Innovative Dataset Development and Fusion Module Exploration},
author = {Xiaoyu Shi and Rahul Kumar Jain and Yinhao Li and Ruibo Hou and Jingliang Cheng and Jie Bai and Guohua Zhao and Lanfen Lin and Rui Xu and Yen-wei Chen},
journal= {arXiv preprint arXiv:2506.16784},
year = {2025}
}