基于跨模态等变约束的弱监督分割

弱监督学习已成为缓解语义分割中对大型标注数据集需求的一种有吸引力的替代方案。当前大多数方法利用类激活图（CAMs），其可由图像级标注生成。然而，已证明所得映射具有高度判别性，无法作为最优的代理像素级标签。我们提出了一种新颖的学习策略，在多模态图像场景中利用自监督来显著增强原始CAMs。具体而言，所提方法基于两点观察。首先，全监督分割网络的学习通过数据增强隐式地施加等变性，而这一隐式约束在由图像标签生成的CAMs上消失。其次，图像模态间的共性可用作高效的自监督信号，纠正跨多个模态获得的CAMs所表现出的不一致性。为有效训练我们的模型，我们集成了一个新颖的损失函数，包含模态内和跨模态等变项，以在训练期间显式施加这些约束。此外，我们在类预测分布上添加了KL散度以促进模态间的信息交换，其与等变正则化项结合进一步提升了模型性能。在流行的多模态BRATS数据集上的详尽实验表明，在相同学习条件下，我们的方法优于近期相关文献。