利用预训练大语言模型结合提示工程回答生物医学问题
计算与语言
2024-07-10 v1
摘要
我们团队参与了 BioASQ 2024 Task12b 和 Synergy 任务，构建一个能够通过检索 PubMed 数据库中相关文章和片段来回答生物医学问题的系统。我们提出了基于预训练大语言模型（LLM）的两级信息检索和问答系统，侧重于 LLM 提示工程和响应后处理。我们构建包含 in-context few-shot 示例的提示，并利用像抽样和非法响应检测等后处理技术。我们对比了 various 预训练 LLM 模型在该挑战中的表现，包括 Mixtral、OpenAI GPT 和 Llama2。我们最佳的系统在 Task 12b 中在文档检索上取得 0.14 MAP 分数，在片段检索上取得 0.05 MAP 分数，对 yes/no 问题取得 0.96 F1 分数，对事实性问题取得 0.38 MRR 分数，对列表问题取得 0.50 F1 分数。
引用
@article{arxiv.2407.06779,
title = {Using Pretrained Large Language Model with Prompt Engineering to Answer Biomedical Questions},
author = {Wenxin Zhou and Thuy Hang Ngo},
journal= {arXiv preprint arXiv:2407.06779},
year = {2024}
}
备注
Submitted to Conference and Labs of the Evaluation Forum (CLEF) 2024 CEUR-WS