面向多模态非增强MRI肝肿瘤分割与检测的统一对抗学习
图像与视频处理
2022-01-11 v1 人工智能
计算机视觉与模式识别
摘要
利用多模态非增强磁共振成像(NCMRI)同时分割与检测肝肿瘤(血管瘤与肝细胞癌(HCC))对临床诊断至关重要。然而,由于以下原因,这仍是一项具有挑战性的任务:(1)NCMRI上HCC信息不可见或不足,导致肝肿瘤特征提取困难;(2)多模态NCMRI中多样的成像特性导致特征融合与选择困难;(3)NCMRI上血管瘤与HCC之间无特异性信息,导致肝肿瘤检测困难。在本研究中,我们提出一种统一对抗学习框架(UAL),利用多模态NCMRI同时实现肝肿瘤分割与检测。UAL首先利用多视角感知编码器提取多模态NCMRI信息用于肝肿瘤分割与检测。在该编码器中,设计了一种新颖的边缘差异特征金字塔模块以促进互补的多模态特征提取。其次,新设计的融合与选择通道用于融合多模态特征并作出特征选择的决策。随后,所提出的坐标共享带填充机制将分割与检测多任务进行整合,使多任务能在单一判别器中执行统一对抗学习。最后,一种创新的多期放射组学引导判别器利用清晰且特异的肿瘤信息,通过对抗学习策略提升多任务性能。UAL在255名临床受试者的相应多模态NCMRI(即T1FS平扫MRI、T2FS MRI和DWI)及三期增强MRI中进行了验证。实验表明,UAL在肝肿瘤临床诊断中具有巨大潜力。
引用
@article{arxiv.2201.02629,
title = {United adversarial learning for liver tumor segmentation and detection of multi-modality non-contrast MRI},
author = {Jianfeng Zhao and Dengwang Li and Shuo Li},
journal= {arXiv preprint arXiv:2201.02629},
year = {2022}
}