部分监督的无配对多模态学习用于标签高效的医学图像分割
计算机视觉与模式识别
2025-03-10 v1
摘要
利用无配对多模态数据来提升各单模态模型性能的无配对多模态学习（UMML）在医学图像分析中已引起大量研究关注。然而，现有的 UMML 方法要求多模态数据集完全标注，这带来了巨大的标注成本。在本文中，我们研究了利用部分标注数据进行标签高效的无配对多模态学习，可将标注成本降低多达一半。我们将这种新的学习范式称为部分监督的无配对多模态学习（PSUMML），并为其提出了一种新颖的分解部分类适配与快照集成自训练（DEST）框架。具体而言，我们的框架包含一个紧凑的分割网络，配合模态特定的归一化层，用于利用部分标注的无配对多模态数据进行学习。PSUMML 的关键挑战在于由部分类标注导致的复杂部分类分布差异，这阻碍了模态间的有效知识迁移。我们通过分解定理对该现象进行了理论分析，并提出了一种分解部分类适配技术，以精确对齐模态间的部分标注类，从而减小分布差异。我们进一步提出了快照集成自训练技术，利用训练过程中的有价值快照模型为部分标注像素分配伪标签进行自训练，以提升模型性能。我们在 PSUMML 的不同场景下对两项医学图像分割任务——心脏亚结构分割和腹部多器官分割——进行了广泛实验。我们的框架显著优于现有方法。
引用
@article{arxiv.2503.05190,
title = {Partially Supervised Unpaired Multi-Modal Learning for Label-Efficient Medical Image Segmentation},
author = {Lei Zhu and Yanyu Xu and Huazhu Fu and Xinxing Xu and Rick Siow Mong Goh and Yong Liu},
journal= {arXiv preprint arXiv:2503.05190},
year = {2025}
}
备注
Accepted to MLMI 2024