利用部分公共信息微结构进行多模态脑肿瘤分割
计算机视觉与模式识别
2023-07-18 v2 机器学习
摘要
多模态学习对于从磁共振成像数据中自动分割脑肿瘤至关重要。显式优化所有模态间共享的公共信息（例如，通过最大化总相关性）已被证明能获得更好的特征表示，从而提升分割性能。然而，现有方法忽略了由部分模态子集共享的部分公共信息。在本文中，我们表明识别此类部分公共信息可以显著提升图像分割模型的判别能力。特别地，我们引入部分公共信息掩码（PCI-mask）这一新概念，以细粒度地刻画哪些部分公共信息由哪些模态子集共享。通过求解掩码相关性最大化并同时学习最优 PCI-mask，我们识别出部分公共信息的潜在微结构，并在自注意力模块中利用它来选择性加权多模态数据中的不同特征表示。我们在标准 U-Net 上实现了所提出的框架。我们在多模态脑肿瘤分割挑战赛（BraTS）数据集上的实验结果优于最先进的分割基线，在 BraTS-2020 上对全肿瘤、肿瘤核心和增强肿瘤的验证 Dice 相似系数分别为 0.920、0.897 和 0.837。
引用
@article{arxiv.2302.02521,
title = {Exploiting Partial Common Information Microstructure for Multi-Modal Brain Tumor Segmentation},
author = {Yongsheng Mei and Guru Venkataramani and Tian Lan},
journal= {arXiv preprint arXiv:2302.02521},
year = {2023}
}
备注
2023 ICML Workshop on Machine Learning for Multimodal Healthcare Data (ML4MHD)