RealMedQA: 一个包含真实临床问题的生物医学问答数据集试点研究
计算与语言
2024-08-19 v1 人工智能
摘要
临床问答系统有潜力为临床医生提供相关且及时的答案。然而，尽管取得了进展，这些系统在临床环境中的采用仍然缓慢。问题之一是缺乏反映医疗专业人员真实需求的问答数据集。在这项工作中，我们提出了RealMedQA，一个由人类和大语言模型（LLM）生成的真实临床问题数据集。我们描述了生成和验证问答对的过程，并在BioASQ和RealMedQA上评估了多个问答模型，以评估将答案与问题匹配的相对难度。我们表明，大语言模型在生成"理想"问答对方面更具成本效益。此外，我们在问题与答案之间实现了比BioASQ更低的词汇相似度，这为排名前两位的问答模型提供了额外的挑战。我们公开发布代码和数据集以鼓励进一步研究。
引用
@article{arxiv.2408.08624,
title = {RealMedQA: A pilot biomedical question answering dataset containing realistic clinical questions},
author = {Gregory Kell and Angus Roberts and Serge Umansky and Yuti Khare and Najma Ahmed and Nikhil Patel and Chloe Simela and Jack Coumbe and Julian Rozario and Ryan-Rhys Griffiths and Iain J. Marshall},
journal= {arXiv preprint arXiv:2408.08624},
year = {2024}
}
备注
Accepted at AMIA Annual Symposium 2024