用于医学图像翻译的不确定性引导渐进式GAN
计算机视觉与模式识别
2021-07-05 v2 机器学习
图像与视频处理
摘要
图像到图像的翻译在处理各种医学成像任务（如衰减校正、运动校正、欠采样重建和去噪）中起着至关重要的作用。生成对抗网络（GAN）已被证明能在这些任务中生成高保真图像，达到最先进水平。然而，最先进的基于GAN的框架并不估计网络预测中的不确定性，而这种不确定性对于做出明智的医疗决策以及医学专家的后续修订至关重要，且最近被证明可提升模型的性能与可解释性。在这项工作中，我们提出一种用于图像到图像翻译的不确定性引导渐进式学习方案。通过将偶然不确定性作为注意力图纳入以渐进方式训练的GAN中，我们逐步生成保真度递增的图像。我们在三个具有挑战性的医学图像翻译任务上验证了模型的有效性，包括PET到CT翻译、欠采样MRI重建和MRI运动伪影校正。我们的模型在三种不同任务上泛化良好，并在全监督和有限数据下的弱监督设置中均优于最先进水平。代码发布于：https://github.com/ExplainableML/UncerGuidedI2I
引用
@article{arxiv.2106.15542,
title = {Uncertainty-Guided Progressive GANs for Medical Image Translation},
author = {Uddeshya Upadhyay and Yanbei Chen and Tobias Hepp and Sergios Gatidis and Zeynep Akata},
journal= {arXiv preprint arXiv:2106.15542},
year = {2021}
}
备注
accepted at MICCAI 2021, code is released here: https://github.com/ExplainableML/UncerGuidedI2I