CmFNet: 用于医学图像弱监督分割的跨模态融合网络

准确的自动医学图像分割依赖高质量、稠密的注释，这些注释成本高昂且耗时。弱监督学习通过利用稀疏且粗糙的注释而非稠密、精确的注释，提供了一种更高效的替代方案。然而，由于稀疏注释，分割性能会下降且容易过拟合，这仍是关键挑战。为此，我们提出了CmFNet，这是一种新型3D弱监督跨模态医学图像分割方法。CmFNet包含三个主要组件: 一种模态特定特征学习网络、一种跨模态特征学习网络以及一种混合监督学习策略。具体而言，模态特定特征学习网络和跨模态特征学习网络有效地整合了来自多模态图像的互补信息，通过增强跨模态的共享特征来提高分割性能。此外，混合监督学习策略通过草图监督、模态内正则化和模态间一致性来指导分割，建模空间和上下文关系，同时促进特征对齐。我们的做法有效地缓解了过拟合问题，实现了稳健的分割结果。它在分割挑战性的小病灶区域和常见解剖结构方面表现优异。在临床跨模态鼻咽部癌(NPC)数据集(包括CT和MR成像)和公开可用的CT腹部器官数据集(WORD)上的大量实验表明，我们的方法在众多最先进的弱监督方法中表现更优。此外，当使用完整注释时，我们的方法也优于完全监督的方法。我们的做法可以促进临床治疗，受益于物理学家、放射科医生、病理学家和肿瘤学家等各种专业人员。