MEG: 用于问答的医学知识增强型大语言模型
计算与语言
2025-04-24 v3 人工智能
机器学习
摘要
问答是一项自然语言理解任务，涉及对显式上下文和未陈述的相关领域知识进行推理。尽管训练成本高昂，大语言模型（LLM）——大多数现代问答系统的基础——仍然难以可靠地捕捉对医学等专门领域的推理至关重要的概念之间的细微关系。在本工作中，我们提出了 MEG，一种用于医学知识增强型 LLM 的参数高效方法。MEG 使用一个轻量级映射网络将知识图谱嵌入融入 LLM，使其能够以经济高效的方式利用外部知识。我们在四个流行的医学选择题数据集上评估了我们的方法，并表明 LLM i) 能够有效解释知识图谱嵌入，ii) 从这些嵌入提供的事实基础中获得了显著优势。MEG 在平均准确率上分别比专门模型 BioMistral-7B 和 MediTron-7B 高出 6.7% 和 9.9%。最后，我们表明 MEG 的性能对图谱编码器的选择具有鲁棒性。
引用
@article{arxiv.2411.03883,
title = {MEG: Medical Knowledge-Augmented Large Language Models for Question Answering},
author = {Laura Cabello and Carmen Martin-Turrero and Uchenna Akujuobi and Anders Søgaard and Carlos Bobed},
journal= {arXiv preprint arXiv:2411.03883},
year = {2025}
}