Bio-SIEVE：探索指令微调大语言模型用于系统综述自动化
计算与语言
2023-08-15 v1 人工智能
摘要
医学系统综述可能成本高昂且耗费资源。我们探索大语言模型（LLMs）如何在给定详细筛选标准时被支持并训练以执行文献筛选。具体而言，我们对 LLaMA 与 Guanaco 模型进行指令微调，以执行医学系统综述的摘要筛选。我们的最佳模型 Bio-SIEVE 优于 ChatGPT 与训练过的传统方法，并在医学领域间具有更好的泛化能力。然而，将模型适配于安全优先场景仍具挑战。我们还通过 Bio-SIEVE-Multi 探索多任务训练的影响，包括 PICO 抽取与排除推理等任务，但发现其无法匹敌单任务 Bio-SIEVE 的性能。我们将 Bio-SIEVE 视为使 LLMs 专用于生物医学系统综述过程的重要一步，并探讨其未来的发展机会。我们发布了模型、代码以及一组用于重建数据集的 DOI 以保证可复现性。
引用
@article{arxiv.2308.06610,
title = {Bio-SIEVE: Exploring Instruction Tuning Large Language Models for Systematic Review Automation},
author = {Ambrose Robinson and William Thorne and Ben P. Wu and Abdullah Pandor and Munira Essat and Mark Stevenson and Xingyi Song},
journal= {arXiv preprint arXiv:2308.06610},
year = {2023}
}