大模型驱动的临床质量强化学习放射学报告生成
计算机视觉与模式识别
2024-03-12 v1
摘要
放射学报告生成 (RRG) 因其减少放射科医生工作量的潜力而受到广泛关注。当前的 RRG 方法在临床标准方面仍不尽如人意。本文介绍了一种新颖的 RRG 方法 \textbf{LM-RRG}，该方法将大模型 (LMs) 与临床质量强化学习相结合，以生成准确且全面的胸部 X 光放射学报告。我们的方法首先设计了一种由大语言模型驱动的特征提取器，用于分析和解释胸部 X 光图像的不同区域，强调具有医学意义的特定区域。接下来，基于大模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指令的多模态提示，以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的具有临床意义和无临床意义的错误，我们引入了一种新颖的临床质量强化学习策略。该策略利用放射学报告临床质量 (RadCliQ) 指标作为学习过程中的奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上的大量实验证明了我们的方法优于最先进技术。
引用
@article{arxiv.2403.06728,
title = {Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning},
author = {Zijian Zhou and Miaojing Shi and Meng Wei and Oluwatosin Alabi and Zijie Yue and Tom Vercauteren},
journal= {arXiv preprint arXiv:2403.06728},
year = {2024}
}