ACN：用于缺失模态脑肿瘤分割的对抗协同训练网络
图像与视频处理
2021-06-30 v2 计算机视觉与模式识别
摘要
从磁共振成像（MRI）中准确分割脑肿瘤在临床诊断、预后和手术治疗中具有重要意义，这需要多种模态提供互补的形态学与病理生理信息。然而，由于图像损坏、伪影、不同采集协议或临床中对某些造影剂的过敏，缺失模态经常发生。尽管现有研究证明了统一模型应对所有缺失情况的可能性，但大多数在缺失多于一种模态时表现不佳。本文中，我们提出一种新颖的对抗协同训练网络（ACN）来解决此问题，其中一系列独立而相关的模型针对每种缺失情况专门训练，取得显著更好的结果。具体而言，ACN 采用一种新颖的协同训练网络，使全模态与缺失模态的耦合学习过程能够互补彼此的域与特征表示，更重要的是恢复缺失模态的“缺失”信息。然后，提出两个无监督模块，即熵与知识对抗学习模块，分别用于最小化域差距并增强预测可靠性及促进潜在表示的对齐。我们还将模态互信息知识迁移学习适配到 ACN 中以保留模态间丰富的互信息。在 BraTS2018 数据集上的大量实验表明，我们所提方法在任何缺失情况下均显著优于所有 SOTA 方法。
引用
@article{arxiv.2106.14591,
title = {ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities},
author = {Yixin Wang and Yang Zhang and Yang Liu and Zihao Lin and Jiang Tian and Cheng Zhong and Zhongchao Shi and Jianping Fan and Zhiqiang He},
journal= {arXiv preprint arXiv:2106.14591},
year = {2021}
}
备注
MICCAI 2021