双教师协同:用于胸部 X 光半监督解剖异常检测的共进化图像与报告蒸馏
计算机视觉与模式识别
2023-07-19 v1
摘要
胸部 X 光(CXR)解剖异常检测旨在定位和刻画放射照片中的心肺放射学发现,可加快临床流程并减少观察疏漏。大多数现有方法要么在完全监督设置下尝试该任务(需要昂贵的逐异常大规模标注),要么在弱监督设置下(性能仍远落后于完全监督方法)。本工作中,我们提出一种共进化图像与报告蒸馏(CEIRD)框架,通过用配对放射学报告中文本分类的异常来接地视觉检测结果,反之亦然,来处理 CXR 中的半监督异常检测。具体而言,基于经典的师生伪标签蒸馏(TSD)范式,我们额外引入一个辅助报告分类模型,其预测用于主要视觉检测任务中的报告引导伪检测标签精炼(RPDLR)。反过来,我们也利用视觉检测模型的预测用于辅助报告分类任务中的异常引导伪分类标签精炼(APCLR),并提出一种共进化策略,其中视觉与报告模型通过交替执行 RPDLR 和 APCLR 相互促进。至此,我们有效地将报告的弱监督整合进半监督 TSD 流程。除跨模态伪标签精炼外,我们进一步提出一种图像内模态自适应非极大值抑制,其中由教师视觉模型生成的伪检测标签由学生的高置信度预测动态校正。在公开 MIMIC-CXR 基准上的实验结果表明,CEIRD 优于几种最新的弱监督和半监督方法。
引用
@article{arxiv.2307.09184,
title = {You've Got Two Teachers: Co-evolutionary Image and Report Distillation for Semi-supervised Anatomical Abnormality Detection in Chest X-ray},
author = {Jinghan Sun and Dong Wei and Zhe Xu and Donghuan Lu and Hong Liu and Liansheng Wang and Yefeng Zheng},
journal= {arXiv preprint arXiv:2307.09184},
year = {2023}
}