面向缺失模态医学分割的原型知识蒸馏
计算机视觉与模式识别
2023-04-18 v2
摘要
多模态医学影像在临床治疗中至关重要，因其可为医学图像分割提供互补信息。然而，受扫描时间限制及其他临床情况影响，临床中收集多模态数据十分困难。因此，开发一种能应对该缺失模态问题的图像分割范式具有临床意义。本文提出一种原型知识蒸馏（ProtoKD）方法以解决这一挑战性问题，尤其针对仅能获取单模态数据的最困难场景。具体而言，我们的ProtoKD不仅能将多模态数据的像素级知识蒸馏至单模态数据，还能迁移类内与类间特征差异，从而使学生在仅以单模态数据推理时，可从教师模型学习到更鲁棒的特征表示。我们的方法在BraTS基准上取得了最优性能。代码见 \url{https://github.com/SakurajimaMaiii/ProtoKD}。
引用
@article{arxiv.2303.09830,
title = {Prototype Knowledge Distillation for Medical Segmentation with Missing Modality},
author = {Shuai Wang and Zipei Yan and Daoan Zhang and Haining Wei and Zhongsen Li and Rui Li},
journal= {arXiv preprint arXiv:2303.09830},
year = {2023}
}
备注
ICASSP 2023. v1:camera ready version; v2: fix typos and release code