具有注意力机制的双重对抗学习用于细粒度医学图像合成
图像与视频处理
2019-07-09 v1 计算机视觉与模式识别
摘要
医学成像在各种临床应用中起着关键作用。然而，由于成本与风险等多重考量，某些图像模态的获取可能受限。为此，许多跨模态医学图像合成方法已被提出。然而，现有方法不能很好地建模难合成区域（如肿瘤或病灶区域）。为解决此问题，我们提出了一种简单而有效的策略，即提出一种双判别器（dual-D）对抗学习系统，其中全局-D 用于对合成图像进行整体评价，并提出局部-D 对合成图像的局部区域进行密集评价。更重要的是，我们构建了一种对抗注意力机制，基于局部-D 更好地建模难合成区域（如肿瘤或病灶区域）。实验结果表明了我们的方法在从相应源图像合成细粒度目标图像时的鲁棒性与准确性。特别地，我们在两个数据集上评估了我们的方法，即针对脑肿瘤图像的从 T1 MRI 生成 T2 MRI 任务，以及从 CT 生成 MRI 任务。我们的方法在所有数据集与任务上均优于所比较的 SOTA 方法。所提出的困难区域感知注意力机制也被证明有助于生成更真实的图像，尤其是针对难合成区域。
引用
@article{arxiv.1907.03297,
title = {Dual Adversarial Learning with Attention Mechanism for Fine-grained Medical Image Synthesis},
author = {Dong Nie and Lei Xiang and Qian Wang and Dinggang Shen},
journal= {arXiv preprint arXiv:1907.03297},
year = {2019}
}