一种用于三维核心脏图像自动重定向与分割同步的多尺度空间Transformer U-Net
图像与视频处理
2023-10-17 v1 计算机视觉与模式识别
机器学习
摘要
左心室（LV）的准确重定向与分割对于心肌灌注成像（MPI）的定量分析至关重要，其中一个关键步骤是将重建的横向核心脏图像重定向为标准短轴切片以进行后续图像处理。小尺度LV心肌（LV-MY）区域检测以及个体患者的多样化心脏结构给LV分割操作带来了挑战。为缓解这些问题，我们提出了一种端到端模型，称为多尺度空间Transformer UNet（MS-ST-UNet），其包含多尺度空间Transformer网络（MSSTN）和多尺度UNet（MSUNet）模块，用于从核心脏图像中同步执行LV区域的重定向与分割。所提方法使用两种不同的核心脏图像模态进行训练和测试：13N-氨PET和99mTc-甲氧基异丁基异腈SPECT。我们采用多尺度策略生成并提取不同尺度的图像特征。实验结果表明，所提方法显著提升了重定向与分割性能。该联合学习框架促进了重定向与分割任务之间的相互增强，从而实现了前沿性能与高效的图像处理流程。所提端到端深度网络有望减轻心脏图像人工勾画的负担，进而为物理师提供多模态定量分析辅助。
引用
@article{arxiv.2310.10095,
title = {A Multi-Scale Spatial Transformer U-Net for Simultaneously Automatic Reorientation and Segmentation of 3D Nuclear Cardiac Images},
author = {Yangfan Ni and Duo Zhang and Gege Ma and Lijun Lu and Zhongke Huang and Wentao Zhu},
journal= {arXiv preprint arXiv:2310.10095},
year = {2023}
}
备注
17 pages, 7 figures