中文

超越检索:结合交叉编码器和GPT重排序器与LLM的集成方法用于生物医学问答

信息检索 2025-07-09 v1 计算与语言 机器学习

摘要

基于信息检索的生物医学语义问答在跟上庞大、快速演进且不断增长的生物医学文献方面可以发挥关键作用。一个稳健的系统可以帮助研究人员、医疗保健专业人员甚至普通用户获取基于证据的相关知识。BioASQ 2025 Task13b挑战赛作为一个重要的基准测试,为该领域的进步提供了一个竞争平台。本文介绍了我们参与该挑战赛的方法和结果,我们构建了一个检索增强生成(RAG)系统,该系统通过检索相关的PubMed文档和片段来回答生物医学问题并生成答案。对于检索任务,我们从生物医学文章中生成密集嵌入用于初始检索,并应用微调交叉编码器和大语言模型(LLM)的集成进行重排序,以识别最相关的文档。我们的解决方案在检索任务中取得了0.1581的MAP@10,在排行榜上排名第10。对于答案生成,我们采用了指令调优LLM的少样本提示。我们的系统在是非题上取得了0.95的宏F1分数(排名第12),在事实题上取得了0.64的平均倒数排名(MRR)(排名第1),在列表题上取得了0.63的平均F1分数(排名第5),在理想答案上取得了0.29的ROUGE-SU4 F1分数(排名第11)。

关键词

引用

@article{arxiv.2507.05577,
  title  = {Beyond Retrieval: Ensembling Cross-Encoders and GPT Rerankers with LLMs for Biomedical QA},
  author = {Shashank Verma and Fengyi Jiang and Xiangning Xue},
  journal= {arXiv preprint arXiv:2507.05577},
  year   = {2025}
}

备注

Paper submitted to CLEF 2025 CEUR-WS