一种用于多模态医学图像补全的基于统一条件分数的生成框架
图像与视频处理
2022-07-08 v1 计算机视觉与模式识别
摘要
多模态医学图像补全已广泛应用于缓解众多多模态诊断任务中的模态缺失问题。然而，对于大多数现有合成方法，其对缺失模态的推断可能坍缩为从可用模态出发的确定性映射，忽略了跨模态关系固有的不确定性。在此，我们提出统一多模态条件分数生成模型（UMM-CSGM），以利用基于分数的生成模型（SGM）对目标概率分布进行建模与随机采样，并将SGM扩展至跨模态条件合成，在统一框架中处理各种缺失模态配置。具体而言，UMM-CSGM采用一种新颖的多入多出条件分数网络（mm-CSN），通过在完整模态空间中的条件扩散与反向生成，学习一组全面的跨模态条件分布。如此，生成过程可被所有可用信息准确条件化，并能在单一网络中适配缺失模态的所有可能配置。在BraTS19数据集上的实验表明，UMM-CSGM能更可靠地合成肿瘤所致病灶中任意缺失模态下的异质增强与不规则区域。
引用
@article{arxiv.2207.03430,
title = {A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion},
author = {Xiangxi Meng and Yuning Gu and Yongsheng Pan and Nizhuan Wang and Peng Xue and Mengkang Lu and Xuming He and Yiqiang Zhan and Dinggang Shen},
journal= {arXiv preprint arXiv:2207.03430},
year = {2022}
}