DUAL-GLOW：用于模态迁移的条件流式生成模型
图像与视频处理
2019-08-23 v1 计算机视觉与模式识别
摘要
正电子发射断层扫描（PET）成像是一种用于诊断多种神经系统疾病的成像模态。与磁共振成像（MRI）相比，PET成本高昂且需向患者体内注射放射性物质。受视觉领域模态迁移发展的启发，我们研究从MRI数据生成特定类型PET图像。我们推导出新的基于流的生成模型，并证明其在这种小样本规模（远小于标准视觉任务中可用的数据集规模）下表现良好。我们的方案DUAL-GLOW基于两个可逆网络和一个将潜在空间相互映射的关系网络。我们讨论了在给定先验分布的情况下，学习给定MRI图像的PET条件分布如何归结为获取两种图像类型对应潜在编码之间的条件分布。我们还将框架扩展，以在有可用信息时利用“侧面”信息（或属性）。通过以年龄为“条件”控制PET生成，我们的模型还能够捕捉作为年龄函数的大脑FDG-PET（低代谢）变化。我们在包含826名受试者的阿尔茨海默病神经影像学倡议（ADNI）数据集上进行了实验，在PET图像合成方面获得了良好的性能，定性和定量上均优于近期工作。
引用
@article{arxiv.1908.08074,
title = {DUAL-GLOW: Conditional Flow-Based Generative Model for Modality Transfer},
author = {Haoliang Sun and Ronak Mehta and Hao H. Zhou and Zhichun Huang and Sterling C. Johnson and Vivek Prabhakaran and Vikas Singh},
journal= {arXiv preprint arXiv:1908.08074},
year = {2019}
}