利用 LLM 的集体智慧实现生物医学问答鲁棒性:多模型方法
计算与语言
2025-08-05 v1
摘要
生物医学文本挖掘和问答是面对生物医学文献指数级增长时不可或缺却极具挑战性的任务。本文介绍我们在第13届BioASQ挑战中所采用的方案,涉及生物医学语义问答任务(Task 13b)和生物医学问答开发主题(Synergy任务)。我们部署了一组开源大型语言模型(LLM)作为检索增强生成器来回答生物医学问题。各种模型用于处理问题。针对Yes/No问题,采用多数投票系统组合其输出以确定最终答案;针对列表和事实类问题,使用其答案的并集。我们评估了13个最先进的开源LLM,探索所有可能的模型组合以贡献最终答案,为每种问题类型构建定制的LLM管道。我们的发现为选择哪些LLM组合在特定问题类型下持续产生优异结果提供了宝贵的见解。在2025年BioASQ挑战的四个轮次中,我们的系统取得了显著成绩:在Synergy任务中,我们在第2轮中获得了理想答案和精确答案的第1名,以及在第3轮和第4轮中获得了精确答案的两项共享第1名。
引用
@article{arxiv.2508.01480,
title = {Harnessing Collective Intelligence of LLMs for Robust Biomedical QA: A Multi-Model Approach},
author = {Dimitra Panou and Alexandros C. Dimopoulos and Manolis Koubarakis and Martin Reczko},
journal= {arXiv preprint arXiv:2508.01480},
year = {2025}
}