TarGAN:用于多模态医学图像翻译的目标感知生成对抗网络
图像与视频处理
2021-05-20 v1 计算机视觉与模式识别
摘要
配对的的多模态医学图像可提供互补信息,帮助医生做出比单模态医学图像更合理的决策。但由于实践中的多种因素(例如时间、成本、辐射剂量),它们难以生成。为解决这些问题,多模态医学图像翻译近来引起了越来越多的研究兴趣。然而,现有工作主要关注整幅图像的翻译效果,而非关键目标区域或感兴趣区域(ROI),例如器官等。这导致局部目标区域的翻译质量差,变得模糊、变形甚至带有额外的不合理纹理。在本文中,我们提出了一种称为TarGAN的新型目标感知生成对抗网络,这是一种通用的多模态医学图像翻译模型,能够(1)不依赖配对数据学习多模态医学图像翻译,(2)在目标区域标签的帮助下增强目标区域生成的质量。TarGAN的生成器同时联合学习两个层次的映射——整图翻译映射和目标区域翻译映射。这两个映射通过所提出的交叉损失相互关联。在定量度量和定性评估上的实验表明,TarGAN在所有情况下均优于最先进的方法。随后进行的分割任务证明了TarGAN生成的合成图像在真实应用中的有效性。我们的代码可在 https://github.com/2165998/TarGAN 获取。
引用
@article{arxiv.2105.08993,
title = {TarGAN: Target-Aware Generative Adversarial Networks for Multi-modality Medical Image Translation},
author = {Junxiao Chen and Jia Wei and Rui Li},
journal= {arXiv preprint arXiv:2105.08993},
year = {2021}
}
备注
10 pages, 3 figures. It has been provisionally accepted for MICCAI 2021