基于循环与形状一致性生成对抗网络的多模态医学体数据翻译与分割
计算机视觉与模式识别
2019-03-19 v2
摘要
合成的医学图像有几个重要应用，例如作为跨模态图像配准的中间介质，以及作为补充训练样本以提升分类器的泛化能力。特别是，合成的计算机断层扫描（CT）数据可为放射治疗规划提供X射线衰减图。在本工作中，我们提出一种通用的跨模态合成方法，目标如下：1）使用非配对训练数据合成逼真外观的三维图像；2）确保解剖结构一致，这些结构可能在跨模态合成中因几何畸变而改变；3）通过对训练样本有限的模态使用合成数据来改进体数据分割。我们表明，这些目标可通过一个端到端三维卷积神经网络（CNN）实现，该网络由互为增益的生成器和分割器组成，用于图像合成与分割任务。生成器以对抗损失、循环一致性损失以及由分割器监督的形状一致性损失进行训练，以减轻几何畸变。从分割角度看，分割器以在线方式由生成器的合成数据所提升。生成器与分割器在端到端训练方式中交替促进彼此。通过在包含共计4,496个CT与磁共振成像（MRI）心血管体数据的数据集上进行大量实验，我们表明两项任务互为有益，且耦合这两个任务比单独求解它们获得更好的性能。
引用
@article{arxiv.1802.09655,
title = {Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network},
author = {Zizhao Zhang and Lin Yang and Yefeng Zheng},
journal= {arXiv preprint arXiv:1802.09655},
year = {2019}
}
备注
CVPR2018 (a small revision in v2)