放射学报告生成中临床医生与专科基础模型之间的共识、分歧与协同
图像与视频处理
2023-12-22 v3 计算与语言
计算机视觉与模式识别
机器学习
摘要
放射学报告是现代医学的重要组成部分，为诊断和治疗的重大临床决策提供依据。然而，全球放射科医生的短缺限制了获得专家诊疗的机会并造成沉重的工作负担，导致可避免的错误和报告交付延迟。尽管近期基于视觉-语言模型的自动化报告生成在改善这一状况方面展现出明确潜力，但通往实际应用的道路因评估AI生成报告的临床质量这一挑战而受阻。在本研究中，我们通过在放射学数据上微调知名的视觉-语言基础模型，构建了一个用于胸部X线片的先进报告生成系统 。为评估AI生成报告的质量，一组16名认证放射科医生对美国重症监护环境和印度住院环境中的胸部X线片所对应的AI生成报告与人工撰写报告进行了详细评估。在这两个数据集中，每个病例由两名放射科医生评估，至少一名放射科医生在超过60的病例中偏好AI报告甚于真实报告。在包含错误的AI生成报告子集中，被引用最频繁的原因与部位和发现有关，而对于人工撰写的报告，大多数错误与严重程度和发现有关。这种差异表明我们的AI系统与人类专家之间具有潜在的互补性，促使我们开发了一种辅助场景：由Flamingo-CXR生成初稿报告，随后由临床医生修订。这是首次展示临床医生与AI协作撰写报告的实例，由此产生的报告在80的住院病例和60的重症监护病例中被评估为至少一名放射科医生认为与专家单独撰写的报告等效或更受偏好。
引用
@article{arxiv.2311.18260,
title = {Consensus, dissensus and synergy between clinicians and specialist foundation models in radiology report generation},
author = {Ryutaro Tanno and David G. T. Barrett and Andrew Sellergren and Sumedh Ghaisas and Sumanth Dathathri and Abigail See and Johannes Welbl and Karan Singhal and Shekoofeh Azizi and Tao Tu and Mike Schaekermann and Rhys May and Roy Lee and SiWai Man and Zahra Ahmed and Sara Mahdavi and Yossi Matias and Joelle Barral and Ali Eslami and Danielle Belgrave and Vivek Natarajan and Shravya Shetty and Pushmeet Kohli and Po-Sen Huang and Alan Karthikesalingam and Ira Ktena},
journal= {arXiv preprint arXiv:2311.18260},
year = {2023}
}