从超声中蒸馏缺失模态知识以利用磁共振图像诊断子宫内膜异位症
图像与视频处理
2024-02-01 v1 计算机视觉与模式识别
机器学习
摘要
子宫内膜异位症是一种常见的慢性妇科疾患，具有诸多特征，包括道格拉斯窝（POD）封闭，可通过经阴道妇科超声（TVUS）扫描与磁共振成像（MRI）进行诊断。TVUS 与 MRI 是互补的 noninvasive 子宫内膜异位症诊断成像技术，但患者通常不接受两种模态的扫描，且一般从 MRI 检测 POD 封闭比从 TVUS 更具挑战性。为缓解此分类不平衡，我们在本文中提出一种知识蒸馏训练算法，通过利用来自非配对 TVUS 数据的检测结果来改进从 MRI 的 POD 封闭检测。更具体地，我们的算法预训练一个教师模型以从 TVUS 数据检测 POD 封闭，并利用大量无标签盆腔 3D MRI 体数据通过 3D 掩码自编码器预训练一个学生模型。接下来，我们通过最小化一个回归损失，使用非配对 TVUS 与 MRI 数据将教师 TVUS POD 封闭检测器的知识蒸馏以训练学生 MRI 模型，该损失使学生输出逼近教师输出。在我们包含 TVUS 与 MRI 数据的子宫内膜异位症数据集上的实验结果证明了该方法在提升 MRI 的 POD 检测精度上的有效性。
引用
@article{arxiv.2307.02000,
title = {Distilling Missing Modality Knowledge from Ultrasound for Endometriosis Diagnosis with Magnetic Resonance Images},
author = {Yuan Zhang and Hu Wang and David Butler and Minh-Son To and Jodie Avery and M Louise Hull and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2307.02000},
year = {2024}
}
备注
This paper is accepted by 2023 IEEE 20th International Symposium on Biomedical Imaging(ISBI 2023)