cWDM:用于跨模态三维医学图像合成的条件小波扩散模型
图像与视频处理
2024-11-27 v1 计算机视觉与模式识别
摘要
本文聚焦于“BraTS 2024 大脑 MR 图像合成挑战”,提出了一种条件小波扩散模型(cWDM),用于在高分辨率体数据上直接解决配对图像到图像翻译任务。尽管深度学习驱动的脑肿瘤分割模型已在临床中展现出明确的实用价值,但这些模型通常需要来自多种模态(T1、T1ce、T2、FLAIR)的 MR 扫描作为输入。然而,由于时间限制或成像伪影,这些模态中可能缺失某些数据,阻碍了在临床常规应用中运用表现良好的分割算法。为此,我们提出一种方法,基于三个可用图像合成缺失的模态图像,从而支持下游分割模型的应用。我们将这种配对图像到图像翻译任务视为条件生成问题,通过将小波扩散模型用于高分辨率 3D 图像合成与简单条件策略相结合来实现。该方法允许我们直接应用于全分辨率体积,避免切片或块状数据处理引入的伪影。虽然本工作聚焦于特定应用,但所提方法可适用于所有配对图像到图像翻译问题,如 CT MR 和 MR PET 翻译,或基于掩码引导的解剖学图像生成。
引用
@article{arxiv.2411.17203,
title = {cWDM: Conditional Wavelet Diffusion Models for Cross-Modality 3D Medical Image Synthesis},
author = {Paul Friedrich and Alicia Durrer and Julia Wolleb and Philippe C. Cattin},
journal= {arXiv preprint arXiv:2411.17203},
year = {2024}
}
备注
BraTS 2024 (Global Synthesis) submission. Code: https://github.com/pfriedri/cwdm