基于多模态自蒸馏的模态无关医学图像分割学习
图像与视频处理
2023-06-07 v1 计算机视觉与模式识别
摘要
肿瘤与危及器官的医学图像分割是临床中耗时但关键的过程，其利用多模态成像（例如不同采集方式、数据类型与序列）以提高分割精度。本文提出一种新颖框架——通过多模态自蒸馏实现的模态无关学习（MAG-MS），以探究输入模态对医学图像分割的影响。MAG-MS从多模态融合中蒸馏知识，并用于增强各单一模态的表征学习。因此，它提供了一种通用且高效的方法，以处理测试阶段模态有限的情况。我们在基准数据集上的大量实验证明了MAG-MS的高效性，以及其优于当前最先进方法（SOTA）的分割性能。此外，借助MAG-MS，我们为医学图像分割任务的输入模态选择提供了有价值的见解与指导。
引用
@article{arxiv.2306.03730,
title = {Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation},
author = {Qisheng He and Nicholas Summerfield and Ming Dong and Carri Glide-Hurst},
journal= {arXiv preprint arXiv:2306.03730},
year = {2023}
}