面向医学放射科报告生成的事实感知多模态检索增强

多模态基础模型在自动生成放射报告方面具有巨大潜力，有助于临床医生诊断心脏疾病。然而，生成的报告常常严重存在事实不准确。本文引入一个事实感知多模态检索增强管道用于生成准确放射报告（FactMM-RAG）。我们首先利用RadGraph从事实报告对中挖掘事实知识，然后将事实知识整合到通用多模态检索器训练中。给定放射学图像，我们的检索器可识别高质量的参考报告，以增强多模态基础模型，从而提高报告生成的事实完整性和正确性。在两个基准数据集上的实验表明，我们的多模态检索器在语言生成和放射学特定指标上均超越了最先进的检索方法，F1CheXbert提升最高可达6.5%，F1RadGraph提升2%。进一步分析表明，我们的事实感知训练策略提供了有效的监督信号，无需依赖显式诊断标签指导，成功地将事实感知能力从多模态检索器传播到放射报告生成中的多模态基础模型。