基于特征解耦与门控融合的鲁棒多模态脑肿瘤分割
计算机视觉与模式识别
2020-02-25 v1
摘要
准确的医学图像分割通常需要从多模态数据中有效学习互补信息。然而，在临床实践中，我们经常遇到缺失成像模态的问题。我们应对这一挑战，提出了一种对成像模态缺失具有鲁棒性的新型多模态分割框架。我们的网络使用特征解耦将输入模态分解为模态特定的外观编码（唯一对应于每个模态）和模态不变的内容编码（为分割任务吸收多模态信息）。随着模态不变性的增强，来自每个模态的解耦内容编码被融合为共享表示，从而获得对缺失数据的鲁棒性。该融合通过基于学习的策略实现，以在不同位置门控不同模态的贡献。我们在重要且具有挑战性的多模态脑肿瘤分割任务上使用 BRATS 挑战数据集验证了我们的方法。在完整模态下与最先进方法性能相当的同时，我们的方法在各种缺失模态情况下实现了出色的鲁棒性，在全肿瘤分割的 Dice 上平均显著超过最先进方法 16% 以上。
引用
@article{arxiv.2002.09708,
title = {Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion},
author = {Cheng Chen and Qi Dou and Yueming Jin and Hao Chen and Jing Qin and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2002.09708},
year = {2020}
}
备注
MICCAI 2019