基于知识增强问题生成的高效医学问答
计算与语言
2024-05-24 v1 人工智能
摘要
在语言模型应用不断扩展的领域中，由于医学领域的专业性，医学知识表示仍然是一个重大挑战。大型语言模型，如GPT-4，在医学问答任务上获得了合理的分数，但较小的模型远远落后。在这项工作中，我们介绍了一种通过采用双重方法来提高小语言模型在医学领域能力的方法。我们首先在医学教科书语料库上微调模型。然后，我们使用GPT-4生成类似于下游任务的问题，并用教科书知识进行提示，然后用它们来微调模型。此外，我们介绍了ECN-QA，一个新颖的医学问答数据集，包含由相关顺序问题组成的“渐进式问题”。我们展示了我们的训练策略在该数据集上的好处。研究结果强调了小语言模型在适当微调后在医学领域的潜力。代码和权重可在https://github.com/raidium-med/MQG获取。
引用
@article{arxiv.2405.14654,
title = {Efficient Medical Question Answering with Knowledge-Augmented Question Generation},
author = {Julien Khlaut and Corentin Dancette and Elodie Ferreres and Alaedine Bennani and Paul Hérent and Pierre Manceron},
journal= {arXiv preprint arXiv:2405.14654},
year = {2024}
}
备注
Accepted at the Clinical Natural Language Processing Workshop, NAACL 2024