SMU-Net：用于缺失模态脑肿瘤分割的风格匹配 U-Net
计算机视觉与模式识别
2022-04-07 v1
摘要
神经胶质瘤是最普遍的原发性脑肿瘤类型之一，占所有病例的 30% 以上，起源于神经胶质干细胞或祖细胞。理论上，大多数脑肿瘤可仅通过磁共振成像（MRI）加以识别。每种 MRI 模态提供关于人脑软组织的不同信息，整合所有模态将为神经胶质瘤的精确分割提供全面数据，而这关乎患者的预后、诊断以及确定最佳后续治疗。遗憾的是，MRI 易因多种原因产生伪影，可能导致一个或多个 MRI 模态缺失。多年来已提出多种策略来合成缺失模态或补偿其对自动分割模型的影响。然而，这些方法通常未能对底层缺失信息建模。本文中，我们提出一种风格匹配 U-Net（SMU-Net）用于 MRI 图像的脑肿瘤分割。我们的协同训练方法利用内容与风格匹配机制，将来自全模态网络的信息性特征蒸馏到缺失模态网络中。为此，我们将全模态与缺失模态数据均编码至潜空间，随后将表示空间解耦为风格与内容表示。我们的风格匹配模块通过学习一个匹配函数，将信息性与纹理特征从全模态路径迁移至缺失模态路径，从而自适应地重校准表示空间。此外，通过对互信息建模，我们的内容模块抑制信息量较少的特征，并基于判别性语义特征重校准表示空间。在 BraTS 2018 数据集上的评估过程显示出显著的结果。
引用
@article{arxiv.2204.02961,
title = {SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities},
author = {Reza Azad and Nika Khosravi and Dorit Merhof},
journal= {arXiv preprint arXiv:2204.02961},
year = {2022}
}