DeltaNet：面向 COVID-19 诊断的条件式医学报告生成
图像与视频处理
2022-11-28 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
快速筛查与诊断在 COVID-19 患者治疗中至关重要。除金标准 RT-PCR 外，X 光与 CT 等放射影像也是患者筛查与随访的重要手段。然而，由于患者数量过多，书写报告成为放射科医生的沉重负担。为减轻放射科医生工作负担，我们提出 DeltaNet 以自动生成医学报告。不同于以编码器-解码器生成报告的典型图像描述方法，DeltaNet 采用条件式生成流程。具体而言，给定医学图像，DeltaNet 分三步生成报告：1) 首先检索相关医学报告，即相同或相似患者的历史报告；2) 然后比较检索图像与当前图像以发现差异；3) 最后基于条件报告生成容纳所识别差异的新报告。我们在 COVID-19 数据集上评估 DeltaNet，其优于 SOTA 方法。除 COVID-19 外，所提 DeltaNet 亦可应用于其他疾病。我们在公开 IU-Xray 与 MIMIC-CXR 胸部疾病数据集上验证其泛化能力。代码见 \url{https://github.com/LX-doctorAI1/DeltaNet}。
引用
@article{arxiv.2211.13229,
title = {DeltaNet:Conditional Medical Report Generation for COVID-19 Diagnosis},
author = {Xian Wu and Shuxin Yang and Zhaopeng Qiu and Shen Ge and Yangtian Yan and Xingwang Wu and Yefeng Zheng and S. Kevin Zhou and Li Xiao},
journal= {arXiv preprint arXiv:2211.13229},
year = {2022}
}