通过注入对比先验提升放射学报告生成
计算与语言
2023-06-06 v2
摘要
近期基于 transformer 的模型在从胸部 X 光图像生成放射学报告方面取得了显著进展。然而,一个突出挑战依然存在:这些模型常缺乏先验知识,导致生成的合成报告错误地提及不存在的既往检查。这一偏差可归因于放射科医生与生成模型之间的知识鸿沟。放射科医生拥有患者特定的先验信息,而模型仅接收特定时间点的 X 光图像。为应对此问题,我们提出一种新方法,利用基于规则的标注器从放射学报告中提取对比先验信息。该提取的对比先验随后被无缝集成到最先进的基于 transformer 的模型中,使其能生成更真实且全面的报告。我们的方法在英文报告数据集(如 IU X-ray 与 MIMIC-CXR)上进行了评估。结果表明,我们的方法在自然语言生成指标上超越基线模型。值得注意的是,我们的模型生成的报告不存在对不存在的既往检查的虚假提及,使之区别于先前模型。通过解决此局限,我们的方法代表了在医学报告生成领域弥合放射科医生与生成模型鸿沟的重要一步。
引用
@article{arxiv.2305.04561,
title = {Boosting Radiology Report Generation by Infusing Comparison Prior},
author = {Sanghwan Kim and Farhad Nooralahzadeh and Morteza Rohanian and Koji Fujimoto and Mizuho Nishio and Ryo Sakamoto and Fabio Rinaldi and Michael Krauthammer},
journal= {arXiv preprint arXiv:2305.04561},
year = {2023}
}
备注
Accepted at ACL 2023, BioNLP Workshop