解锁弱标注数据的潜力：用于异常检测与报告生成的协同进化学习框架
计算机视觉与模式识别
2024-12-19 v1 计算与语言
摘要
胸部X光片（CXR）的解剖异常检测与报告生成是临床实践中的两项基本任务。前者旨在定位并描述CXR中的心肺放射学发现，后者则将这些发现总结为详细报告以供进一步诊断和治疗。现有方法通常分别关注其中一项任务，忽略了它们之间的相关性。本文提出了一种协同进化异常检测与报告生成（CoE-DG）框架。该框架利用全标注（带有边界框标注和临床报告）和弱标注（仅含报告）数据，实现异常检测与报告生成任务之间的相互促进。具体而言，我们引入了一种双向信息交互策略，包括生成器引导的信息传播（GIP）和检测器引导的信息传播（DIP）。对于半监督异常检测，GIP将生成器提取的信息特征作为检测器的辅助输入，并利用生成器的预测来优化检测器的伪标签。我们进一步提出了一种图像模态内自适应非极大值抑制模块（SA-NMS）。该模块利用学生模型的高置信度预测动态修正教师检测模型生成的伪检测标签。相反，对于报告生成，DIP将检测器预测的异常类别和位置作为输入和指导，提供给生成器以改进生成的报告。
引用
@article{arxiv.2412.13599,
title = {Unlocking the Potential of Weakly Labeled Data: A Co-Evolutionary Learning Framework for Abnormality Detection and Report Generation},
author = {Jinghan Sun and Dong Wei and Zhe Xu and Donghuan Lu and Hong Liu and Hong Wang and Sotirios A. Tsaftaris and Steven McDonagh and Yefeng Zheng and Liansheng Wang},
journal= {arXiv preprint arXiv:2412.13599},
year = {2024}
}