用于 MR-CT 可变形图像配准的生成对抗网络
计算机视觉与模式识别
2018-07-20 v1
摘要
由于模态固有的结构差异以及缺乏密集真值，MR 与 CT 图像的可变形图像配准（DIR）是最具挑战性的配准任务之一。近来，循环生成对抗网络（cycle-GAN）已被用于学习这两个模态间针对非配对脑数据的强度关系，但其在 DIR 中的效用尚未被评估。在本研究中，我们评估了经 cycle-GAN 合成后针对胸部和腹部器官的 DIR 性能。我们表明，区分两个群体（例如吸气与呼气）的几何变化同样被轻易合成。这给任何依赖真实图像与合成图像间空间对应得以保持的应用（例如计划、分割、标志点传播）带来了实质性问题。为缓解该问题，我们研究了通过减小判别器感受野大小来减少提供给判别器的空间信息。图像合成从每个模态 17 个非配对受试者中学习。配准性能针对来自 VISERAL 挑战的 3 个受试者的 11 个结构的手动分割进行了评估。基于归一化互信息（NMI）、模态无关邻域描述子（MIND）及其新颖组合的最先进 DIR 方法分别达到了 76.7%、67.7%、76.9% 的平均分割重叠率。当配准基于局部相关由 cycle-GAN 合成的图像时，该值降至 69.1% 或更低，原因在于胸部区域性能较差，其中合成了较大的肺体积变化。当使用 3D 合成 MRI（12 层）并为判别器采用中等大小感受野时，腹部区域的性能与 CT-MRI NMI 配准相似（77.4% 对比 78.8%）。
引用
@article{arxiv.1807.07349,
title = {Generative Adversarial Networks for MR-CT Deformable Image Registration},
author = {Christine Tanner and Firat Ozdemir and Romy Profanter and Valeriy Vishnevsky and Ender Konukoglu and Orcun Goksel},
journal= {arXiv preprint arXiv:1807.07349},
year = {2018}
}