EVOKE：基于多视角对比学习与患者特异性知识的胸部 X 线报告生成
计算机视觉与模式识别
2025-03-13 v2 人工智能
摘要
放射科报告对制定治疗策略和促进医患沟通至关重要。然而，人工撰写报告给放射科医生带来了巨大负担。虽然自动放射报告生成是一个有前景的解决方案，但现有方法往往依赖单视角 X 线片，限制了诊断准确性。为应对这一挑战，我们提出 \textbf{EVOKE}，一种新颖的胸部 X 线报告生成框架，融合了多视角对比学习与患者特异性知识。具体而言，引入一种多视角对比学习方法，通过将多视角 X 线片与其对应报告对齐来增强视觉表征。随后，提出一个知识引导的报告生成模块，整合可用的患者特异性指征（如症状描述）以触发生成准确连贯的放射报告。为支持多视角报告生成研究，我们利用公开数据源构建了 Multi-view CXR 和 Two-view CXR 数据集。所提 EVOKE 在多个数据集上超越近期最先进方法，在 MIMIC-CXR 上 F\textsubscript{1} RadGraph 提升 2.9\%，在 MIMIC-ABN 上 BLEU-1 提升 7.3\%，在 Multi-view CXR 上 BLEU-4 提升 3.1\%，在 Two-view CXR 上 F\textsubscript{1,mic-14} CheXbert 提升 8.2\%。
引用
@article{arxiv.2411.10224,
title = {EVOKE: Elevating Chest X-ray Report Generation via Multi-View Contrastive Learning and Patient-Specific Knowledge},
author = {Qiguang Miao and Kang Liu and Zhuoqi Ma and Yunan Li and Xiaolu Kang and Ruixuan Liu and Tianyi Liu and Kun Xie and Zhicheng Jiao},
journal= {arXiv preprint arXiv:2411.10224},
year = {2025}
}
备注
The code is available at https://github.com/mk-runner/EVOKE