知识至关重要：融合通用与特定知识的放射学报告生成

自动放射学报告生成在临床中至关重要，可减轻资深放射科医生的繁重工作负担，并提醒经验不足的放射科医生避免误诊或漏诊。现有方法主要将放射学报告生成视为图像描述任务并采用编码器-解码器框架。然而，在医学领域，此类纯数据驱动方法存在以下问题：1）视觉与文本偏差问题；2）缺乏专家知识。本文提出一种知识增强的放射学报告生成方法，引入两类医学知识：1）通用知识，其与输入无关，为报告生成提供广博知识；2）特定知识，其与输入相关，为报告生成提供细粒度知识。为充分利用通用与特定知识，我们还提出一种知识增强的多头注意力机制。通过将放射学图像的视觉特征与通用知识和特定知识相融合，所提模型可提升生成报告的质量。在两个公开数据集IU-Xray和MIMIC-CXR上的实验结果表明，所提知识增强方法优于最先进的基于图像描述的方法。消融研究也证明通用与特定知识均有助于提升放射学报告生成的性能。