将 UMLS 知识整合进大语言模型用于医学问答
计算与语言
2023-10-16 v2 人工智能
摘要
大语言模型（LLMs）已展现出强大的文本生成能力，为医疗健康领域带来前所未有的创新。尽管 LLMs 在医疗应用中前景广阔，但将其用于真实临床场景存在显著挑战，因为这些模型可能生成偏离既定医学事实的内容，甚至表现出潜在偏见。在我们的研究中，我们基于统一医学语言系统（UMLS）开发了一个增强型 LLM 框架，旨在更好地服务医疗健康界。我们采用 LLaMa2-13b-chat 和 ChatGPT-3.5 作为基准模型，并使用 ROUGE 分数与 BERTScore 对来自 LiveQA 测试集的 104 道问题进行了自动评估。此外，我们基于事实性、完整性、可读性和相关性四个维度建立了医师评估标准。使用 ChatGPT-3.5 对 LiveQA 测试集上 20 道问题进行医师评估。多名住院医师进行盲审以评估生成内容，结果表明该框架有效增强了生成内容的事实性、完整性与相关性。我们的研究证明了 UMLS 增强型 LLMs 的有效性，并凸显了 LLMs 在医学问答中的潜在应用价值。
引用
@article{arxiv.2310.02778,
title = {Integrating UMLS Knowledge into Large Language Models for Medical Question Answering},
author = {Rui Yang and Edison Marrese-Taylor and Yuhe Ke and Lechao Cheng and Qingyu Chen and Irene Li},
journal= {arXiv preprint arXiv:2310.02778},
year = {2023}
}
备注
12 pages, 3 figures