面向多解剖部位三维病灶分割的多维统一 Swin Transformer
图像与视频处理
2023-09-06 v1 计算机视觉与模式识别
摘要
在肿瘤学研究中，从 CT 扫描中准确进行病灶的三维分割对于建模病灶生长动力学至关重要。然而，遵循 RECIST 标准，放射科医生通常仅在显示最大横截面积的轴位切片上勾画每个病灶，并出于研究目的对少量病灶进行三维勾画。因此，我们拥有大量未标注的三维体数据和已标注的二维图像，以及稀缺的已标注三维体数据，这使得训练深度学习三维分割模型成为一项具有挑战性的任务。在本工作中，我们提出一种新颖模型，称为多维统一 Swin Transformer (MDU-ST)，用于三维病灶分割。MDU-ST 由移位窗口 Transformer (Swin-transformer) 编码器与卷积神经网络 (CNN) 解码器组成，使其能够适应二维与三维输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入一个三阶段框架：1) 通过自监督前置任务利用大量未标注三维病灶体数据，在 Swin-transformer 编码器中学习病灶解剖的潜在模式；2) 使用二维 RECIST 切片微调 Swin-transformer 编码器以执行二维病灶分割，学习切片级分割信息；3) 进一步使用已标注三维体数据微调 Swin-transformer 编码器以执行三维病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在内部三维病灶数据集上评估，该数据集包含从多个解剖部位提取的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。所提出的方法可用于开展自动化三维病灶分割，以辅助放射组学与肿瘤生长建模研究。本文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接收。
引用
@article{arxiv.2309.01823,
title = {Multi-dimension unified Swin Transformer for 3D Lesion Segmentation in Multiple Anatomical Locations},
author = {Shaoyan Pan and Yiqiao Liu and Sarah Halek and Michal Tomaszewski and Shubing Wang and Richard Baumgartner and Jianda Yuan and Gregory Goldmacher and Antong Chen},
journal= {arXiv preprint arXiv:2309.01823},
year = {2023}
}