PASSION：面向不平衡缺失率下有效的不完整多模态医学图像分割

不完整多模态图像分割是医学影像中的一项基础任务，旨在当仅有部分模态可用时提高部署效率。然而，模型训练期间可见完整模态数据的常见做法远非现实，因为在临床场景中，模态可能具有不平衡的缺失率。在本文中，我们首次构建了这一具有挑战性的设置，并提出了面向不平衡缺失率下不完整多模态医学图像分割的偏好感知自蒸馏（PASSION）框架。具体来说，我们首先构建了像素级和语义级自蒸馏，以平衡每个模态的优化目标。然后，我们定义了相对偏好来评估训练期间每个模态的主导性，并基于此设计了任务级和梯度级正则化，以平衡不同模态的收敛速度。在两个公开可用的多模态数据集上的实验结果表明，PASSION相对于现有的模态平衡方法具有优越性。更重要的是，PASSION被验证可作为一个即插即用模块，在不同骨干网络上实现一致的性能提升。代码可在 https://github.com/Jun-Jie-Shi/PASSION 获取。