基于 OpenAI GPT 模型的检索增强胸部 X 光报告生成
计算与语言
2023-05-08 v1 人工智能
信息检索
机器学习
摘要
我们提出检索增强生成(RAG)作为一种自动化放射学报告书写方法,其利用对比预训练视觉语言模型的多模态对齐嵌入,针对输入放射学图像检索相关候选放射学文本,并使用如 OpenAI text-davinci-003、gpt-3.5-turbo 和 gpt-4 等通用领域生成模型,基于检索到的相关放射学文本生成报告。该方法抑制了幻觉生成,并借助这些生成模型的指令跟随能力,可按所需格式生成报告内容。我们的方法取得了更好的临床指标,BERTScore 为 0.2865(Δ+ 25.88%),Semb 得分为 0.4026(Δ+ 6.31%)。我们的方法可广泛适用于不同临床场景,因其允许以该场景相关内容增强自动化放射学报告生成过程,同时能在报告生成过程的提示中注入用户意图与需求,以调节生成报告的内容与格式,适应相应临床场景。
引用
@article{arxiv.2305.03660,
title = {Retrieval Augmented Chest X-Ray Report Generation using OpenAI GPT models},
author = {Mercy Ranjit and Gopinath Ganapathy and Ranjit Manuel and Tanuja Ganu},
journal= {arXiv preprint arXiv:2305.03660},
year = {2023}
}