MRI跨模态神经影像到神经影像翻译
计算机视觉与模式识别
2018-09-12 v2
摘要
我们提出一种跨模态生成框架，该框架学习在不进行真实采集的情况下从给定模态生成MR图像中的翻译模态。我们提出的方法通过利用条件生成对抗网络（cGANs）的深度学习模型执行神经影像到神经影像翻译（简称N2N）。我们的框架联合利用跨模态间的低级特征（像素级信息）和高级表示（例如脑肿瘤、灰质等脑结构），这些对于解决脑结构中具有挑战性的复杂性十分重要。我们的框架可作为临床诊断中的辅助方法，并具有很大的应用潜力。基于我们提出的框架，我们首先提出一种通过融合形变场以采用来自翻译模态的跨模态信息的跨模态配准方法。其次，我们提出一种MRI分割方法，即翻译多通道分割（TMS），其中给定模态与翻译模态通过全卷积网络（FCN）以多通道方式分割。这两种方法均成功采用跨模态信息以提升性能，而无需添加任何额外数据。实验表明，我们提出的框架在五个脑MRI数据集上推进了当前最优（state-of-the-art）水平。我们也在一些广泛采用的脑数据集上观察到跨模态配准与分割的令人鼓舞的结果。总体而言，我们的工作可作为临床诊断中的辅助方法，并应用于医学领域的各种任务。
引用
@article{arxiv.1801.06940,
title = {MRI Cross-Modality NeuroImage-to-NeuroImage Translation},
author = {Qianye Yang and Nannan Li and Zixu Zhao and Xingyu Fan and Eric I-Chao Chang and Yan Xu},
journal= {arXiv preprint arXiv:1801.06940},
year = {2018}
}
备注
46 pages, 16 figures