Hi-Net:用于多模态MR图像合成的混合融合网络
计算机视觉与模式识别
2020-02-13 v1 图像与视频处理
摘要
磁共振成像(MRI)是一种广泛使用的神经成像技术,可提供不同对比度(即模态)的图像。融合该多模态数据已被证明对提升许多任务中的模型性能特别有效。然而,由于数据质量差和患者频繁退出,为每位患者收集所有模态仍具挑战。医学图像合成已被提出作为有效的解决方案,其中任何缺失模态由现有模态合成。本文中,我们提出一种新颖的混合融合网络(Hi-Net)用于多模态MR图像合成,其学习从多模态源图像(即现有模态)到目标图像(即缺失模态)的映射。在我们的Hi-Net中,利用模态特定网络学习各单独模态的表示,并采用融合网络学习多模态数据的公共潜在表示。然后,设计多模态合成网络将潜在表示与来自各模态的分层特征密集结合,充当生成器以合成目标图像。此外,提出逐层多模态融合策略以有效利用多模态间的相关性,其中提出混合融合块(MFB)来自适应加权不同融合策略(即逐元素求和、乘积和最大化)。大量实验表明所提模型优于其他最先进的医学图像合成方法。
引用
@article{arxiv.2002.05000,
title = {Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis},
author = {Tao Zhou and Huazhu Fu and Geng Chen and Jianbing Shen and Ling Shao},
journal= {arXiv preprint arXiv:2002.05000},
year = {2020}
}
备注
has been accepted by IEEE TMI