中文

用于医学图像转换的级联多路径捷径扩散模型

图像与视频处理 2024-08-15 v3 计算机视觉与模式识别

摘要

图像到图像转换是医学图像处理中的重要组成部分,在广泛的成像模态和临床场景中有诸多应用。先前的方法包括生成对抗网络 (GAN) 和扩散模型 (DM),它们提供了真实感,但存在不稳定性和缺乏不确定性估计的问题。尽管 GAN 和 DM 方法在医学图像转换任务中均已展现出各自的能力,但将 GAN 和 DM 结合以进一步提升转换性能并实现不确定性估计的潜力在很大程度上尚未被探索。在这项工作中,我们通过提出一种级联多路径捷径扩散模型 (CMDM) 来解决这些挑战,以实现高质量的医学图像转换和不确定性估计。为了减少所需的迭代次数并确保鲁棒的性能,我们的方法首先获取一幅条件 GAN 生成的先验图像,该图像将在后续步骤中用于 DM 的高效逆向转换。此外,采用多路径捷径扩散策略来细化转换结果并估计不确定性。级联流水线进一步增强了转换质量,并在级联之间引入了残差平均。我们收集了三个不同的医学图像数据集,每个数据集包含两个子任务,以测试我们方法的泛化能力。实验结果表明,CMDM 能够生成与最先进方法相当的高质量转换结果,同时提供与转换误差良好相关的合理不确定性估计。

关键词

引用

@article{arxiv.2405.12223,
  title  = {Cascaded Multi-path Shortcut Diffusion Model for Medical Image Translation},
  author = {Yinchi Zhou and Tianqi Chen and Jun Hou and Huidong Xie and Nicha C. Dvornek and S. Kevin Zhou and David L. Wilson and James S. Duncan and Chi Liu and Bo Zhou},
  journal= {arXiv preprint arXiv:2405.12223},
  year   = {2024}
}

备注

Accepted at Medical Image Analysis Journal