纵向数据与语义相似度奖励用于胸部 X 光报告生成
计算机视觉与模式识别
2024-06-21 v4
摘要
放射科医生面临高职业倦怠率，部分源于需解读与报告的胸部 X 光（CXR）数量不断增加。自动化 CXR 报告生成有望减轻此负担并改善患者照护。尽管当前模型展现潜力，其诊断准确性仍有限。我们提出的 CXR 报告生成器整合了放射科医生工作流要素，并引入一种用于强化学习的新型奖励。我们的方法利用患者先前的 CXR 研究的纵向数据，并有效处理无既往研究存在的情形，从而映射放射科医生的工作流。相反，现有模型通常缺乏此灵活性，常需既往研究方能最优运行。我们的方法还整合患者研究中的所有 CXR，并通过段落嵌入区分报告章节。我们的强化学习奖励利用 CXR-BERT，迫使模型学习放射学报告的临床语义。我们在公开数据集——MIMIC-CXR 与 Open-i IU X-ray——上实验，所用指标被证明与放射科医生对报告的评估更密切相关。本研究结果表明，所提模型生成的报告比 SOTA 模型（如利用大语言模型、强化学习与多任务学习者）更贴合放射科医生报告。所提模型提升了 CXR 报告生成的诊断准确性，有朝一日可减轻放射科医生 workload 并增进患者照护。我们的 Hugging Face 检查点（https://huggingface.co/aehrc/cxrmate）与代码（https://github.com/aehrc/cxrmate）公开可用。
引用
@article{arxiv.2307.09758,
title = {Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation},
author = {Aaron Nicolson and Jason Dowling and Bevan Koopman},
journal= {arXiv preprint arXiv:2307.09758},
year = {2024}
}