基于知识蒸馏的未配对多模态分割
计算机视觉与模式识别
2020-01-10 v1 图像与视频处理
摘要
多模态学习通常使用包含模态特定层和共享层的网络架构，并利用不同模态的共配准图像。我们提出了一种用于未配对跨模态图像分割的新颖学习方案，其架构高度紧凑且取得了优越的分割精度。在我们的方法中，我们大量重用网络参数，通过在 CT 和 MRI 之间共享所有卷积核，仅采用计算各自统计量的模态特定内部归一化层。为了有效训练这种高度紧凑的模型，我们受知识蒸馏启发引入了一个新的损失项，通过显式约束我们推导的跨模态预测分布之间的 KL 散度。我们已在两个多类分割问题上广泛验证了我们的方法：i) 心脏结构分割，以及 ii) 腹部器官分割。使用了不同的网络设置，即 2D 膨胀网络和 3D U-net，以研究我们方法的普遍有效性。两项任务上的实验结果均表明，我们的新颖多模态学习方案始终优于单模态训练和以往的多模态方法。
引用
@article{arxiv.2001.03111,
title = {Unpaired Multi-modal Segmentation via Knowledge Distillation},
author = {Qi Dou and Quande Liu and Pheng Ann Heng and Ben Glocker},
journal= {arXiv preprint arXiv:2001.03111},
year = {2020}
}
备注
IEEE TMI, code available