基于 3D Transformer 去噪扩散模型从 MRI 生成合成 CT
图像与视频处理
2023-06-01 v1 计算机视觉与模式识别
摘要
基于磁共振成像（MRI）的合成计算机断层扫描（sCT）通过消除 CT 模拟及易出错的图像配准需求，简化了放射治疗计划制定，最终减少患者辐射剂量与摆位不确定性。我们提出一种基于 MRI 到 CT 的 Transformer 去噪扩散概率模型（MC-DDPM），将 MRI 转换为高质量 sCT 以促进放射治疗计划。MC-DDPM 通过移位窗口 Transformer 网络实现扩散过程，从 MRI 生成 sCT。所提模型包含两过程：向真实 CT 扫描添加高斯噪声的前向过程，以及由移位窗口 Transformer V-net（Swin-Vnet）以同一患者 MRI 为条件对含噪 CT 扫描去噪以产生无噪 CT 扫描的反向过程。通过最优训练的 Swin-Vnet，反向扩散过程用于生成与 MRI 解剖结构匹配 sCT。我们在脑数据集与前列腺数据集上通过从 MRI 生成 sCT 评估所提方法。定性评估采用真实 CT 与 sCT 间亨氏单位（HU）平均绝对误差（MAE）、峰值信噪比（PSNR）、多尺度结构相似性指数（MS-SSIM）和归一化互相关系数（NCC）指标。MC-DDPM 生成的脑 sCT 取得最先进的定量结果：MAE 43.317 HU、PSNR 27.046 dB、SSIM 0.965、NCC 0.983。对于前列腺数据集，MC-DDPM 取得 MAE 59.953 HU、PSNR 26.920 dB、SSIM 0.849、NCC 0.948。总之，我们开发并验证了一种利用基于 Transformer 的 DDPM 从常规 MRI 生成 CT 图像的新方法。该模型有效捕捉 CT 与 MRI 图像间复杂关系，可在数分钟内生成鲁棒且高质量的合成 CT（sCT）图像。
引用
@article{arxiv.2305.19467,
title = {Synthetic CT Generation from MRI using 3D Transformer-based Denoising Diffusion Model},
author = {Shaoyan Pan and Elham Abouei and Jacob Wynne and Tonghe Wang and Richard L. J. Qiu and Yuheng Li and Chih-Wei Chang and Junbo Peng and Justin Roper and Pretesh Patel and David S. Yu and Hui Mao and Xiaofeng Yang},
journal= {arXiv preprint arXiv:2305.19467},
year = {2023}
}