用于医学图像分割的无配对跨模态萃取蒸馏（CMEDL）
图像与视频处理
2021-12-08 v2 计算机视觉与模式识别
摘要
从CT中准确且稳健地分割肺癌，包括那些靠近纵隔的肿瘤，对于更精确地规划和实施放疗以及测量治疗反应十分必要。因此，我们开发了一种新的跨模态萃取蒸馏（CMEDL）方法，使用无配对的CT和MRI扫描，由信息丰富的教师MRI网络引导学生CT网络提取表征前景与背景差异的特征。我们的贡献消除了蒸馏方法的两个要求：(i) 通过使用图像到图像（I2I）转换消除配对图像集要求；(ii) 通过使用所有网络的并发训练消除教师网络用大型训练集预训练的要求。我们的框架使用端到端训练的无配对I2I转换、教师和学生学习分割网络。我们使用3个分割和2个I2I网络展示了框架的架构灵活性。网络使用来自不同患者组的377例CT和82例T2w MRI训练，具有独立验证（N=209个肿瘤）和测试（N=609个肿瘤）数据集。进行了网络设计、MRI与CT信息结合方法、信息性（MRI到CT）、弱（CT到MRI）和同等教师（MRI到MRI）下的蒸馏学习以及消融实验。准确性使用Dice相似度（DSC）、表面Dice（sDSC）和95百分位的豪斯多夫距离（HD95）衡量。CMEDL方法比非CMEDL方法显著（p 0.001）更准（CT肺肿瘤DSC为0.77对0.73，信息性教师），MRI肺肿瘤弱教师下（DSC为0.84对0.81），以及MRI多器官分割同等教师下（DSC为0.90对0.88）。CMEDL还减少了评分者间肺肿瘤分割变异性。
引用
@article{arxiv.2107.07985,
title = {Unpaired cross-modality educed distillation (CMEDL) for medical image segmentation},
author = {Jue Jiang and Andreas Rimner and Joseph O. Deasy and Harini Veeraraghavan},
journal= {arXiv preprint arXiv:2107.07985},
year = {2021}
}
备注
This manuscript is has been accepted by IEEE Transactions on Medical Imaging