替换与生成：NLP 辅助的放射学报告生成
计算与语言
2023-07-03 v1 人工智能
计算机视觉与模式识别
摘要
临床实践常使用医学影像进行诊断和治疗。自动放射学报告生成的一个重大挑战在于，放射学报告是由描述异常与正常发现的多个句子组成的长篇叙述。因此，应用传统的图像描述方法生成整篇报告显得不足，因为这些方法旨在用短句简要描述图像。我们提出了一种基于模板的方法，从 X 射线照片生成放射学报告。我们的方法包括：i) 使用多标签图像分类器，为输入的 X 射线照片生成标签；ii) 使用基于 transformer 的模型，根据步骤(i)生成的标签生成病理描述（对 X 射线照片上所见异常发现的描述）；iii) 使用基于 BERT 的多标签文本分类器，在正常报告模板中找出需用生成的病理描述替换的片段；iv) 使用基于规则的系统，将识别出的片段替换为生成的病理描述。我们在两个最流行的放射学报告数据集 IU Chest X-ray 和 MIMIC-CXR 上进行了实验，并证明在 IU X-RAY 数据集上，BLEU-1、ROUGE-L、METEOR 和 CIDEr 分数分别比 SOTA（State-of-the-Art，最先进）模型高出 25%、36%、44% 和 48%。据我们所知，这是首次通过先为异常发现生成小句子再将其替换到正常报告模板中来生成胸部 X 射线放射学报告的尝试。
引用
@article{arxiv.2306.17180,
title = {Replace and Report: NLP Assisted Radiology Report Generation},
author = {Kaveri Kale and pushpak Bhattacharyya and Kshitij Jadhav},
journal= {arXiv preprint arXiv:2306.17180},
year = {2023}
}
备注
The 61st Annual Meeting of the Association for Computational Linguistics