基于多模态生成对抗网络的缺失MRI脉冲序列合成

磁共振成像（MRI）正日益被用于评估、诊断和规划多种疾病的治疗。在单次扫描中以MR脉冲序列形式可视化不同对比度的组织，为医生提供了宝贵见解，并赋能执行下游分析的自动化系统。然而，过长的扫描时间、图像损坏、不同的采集协议或对某些对比剂的过敏等诸多问题可能阻碍为患者获取多个序列。由于缺失序列所提供的互补信息丢失，这给医生和自动化系统均带来挑战。本文提出一种生成对抗网络（GAN）的变体，能够利用多个可用序列中包含的冗余信息，以为患者扫描生成一个或多个缺失序列。所提网络被设计为多输入多输出网络，其结合所有可用脉冲序列的信息，隐式推断哪些序列缺失，并在单次前向传播中合成缺失序列。我们在两个各含四个序列的脑MRI数据集上展示并验证了该方法，并显示了所提方法在任一可能场景（四个序列中缺失一、二或三个）下同时合成所有缺失序列的适用性。我们将该方法与竞争性的单模态和多模态方法比较，表明我们在定量和定性上均优于二者。