知识双重储备: 用于多模态半监督医学图像分割的定制调制与原型
计算机视觉与模式识别
2024-10-24 v1
摘要
基于多模态 (MM) 半监督学习 (SSL) 的医学图像分割因其能够利用 MM 数据并减少对标注图像的依赖而近来受到越来越多的关注。然而,当前方法面临几个挑战:(1) 复杂的网络设计阻碍了向超过两种模态场景的可扩展性。(2) 仅关注模态不变表示而忽略模态特定特征,导致 MM 学习不完整。(3) 使用生成方法利用未标注数据对于 SSL 可能不可靠。为解决这些问题,我们提出了 Double Bank Dual Consistency (DBDC),一种用于医学图像分割的新型 MM-SSL 方法。为解决挑战 (1),我们提出了一种模态一体化分割网络,可容纳任意数量模态的数据,消除了对模态数量的限制。为解决挑战 (2),我们设计了两个可学习的即插即用库:模态级调制库 (MLMB) 和模态级原型库 (MLPB),以捕获模态不变和模态特定知识。这些库使用我们提出的模态原型对比学习 (MPCL) 进行更新。此外,我们设计了模态自适应加权 (MAW) 来动态调整每个模态的学习权重,确保由于不同模态学习速率不同而实现平衡的 MM 学习。最后,为解决挑战 (3),我们引入了一种双一致性 (DC) 策略,该策略在图像和特征级别强制一致性,而不依赖生成方法。我们在三个开源数据集上评估了我们的方法在 2 到 4 模态分割任务上的性能,大量实验表明我们的方法优于最先进的方法。
引用
@article{arxiv.2410.17565,
title = {Double Banking on Knowledge: Customized Modulation and Prototypes for Multi-Modality Semi-supervised Medical Image Segmentation},
author = {Yingyu Chen and Ziyuan Yang and Ming Yan and Zhongzhou Zhang and Hui Yu and Yan Liu and Yi Zhang},
journal= {arXiv preprint arXiv:2410.17565},
year = {2024}
}