利用纵向胸部X光与报告预填写放射学报告
计算与语言
2023-10-11 v2 机器学习
摘要
尽管语音识别软件的使用缩短了放射学报告的周转时间，但持续存在的沟通错误会显著影响对放射学报告的解读。预填写放射学报告有望减少报告错误，并且尽管已有文献尝试生成医学报告，但仍缺乏利用MIMIC-CXR数据集中患者就诊记录纵向特性的方法。为弥补这一不足，我们提出使用纵向多模态数据，即患者既往就诊CXR、当前就诊CXR和既往就诊报告，来预填写当前患者就诊报告的“发现”部分。我们首先从MIMIC-CXR数据集中收集了26,625名患者的纵向就诊信息，并创建了一个名为Longitudinal-MIMIC的新数据集。基于该新数据集，我们训练了一个基于transformer的模型，通过基于交叉注意力的多模态融合模块和分层记忆驱动解码器，从包含多模态数据（CXR图像+报告）的纵向患者就诊记录中捕获信息。与以往仅使用当前就诊数据作为输入训练模型的工作不同，我们的工作利用可用的纵向信息来预填写放射学报告的“发现”部分。实验表明，我们的方法优于几种近期方法。代码将发布于https://github.com/CelestialShine/Longitudinal-Chest-X-Ray。
引用
@article{arxiv.2306.08749,
title = {Utilizing Longitudinal Chest X-Rays and Reports to Pre-Fill Radiology Reports},
author = {Qingqing Zhu and Tejas Sudharshan Mathai and Pritam Mukherjee and Yifan Peng and Ronald M. Summers and Zhiyong Lu},
journal= {arXiv preprint arXiv:2306.08749},
year = {2023}
}