covLLM：用于 COVID-19 生物医学文献的大语言模型
计算与语言
2023-06-09 v1 人工智能
机器学习
摘要
尽管冠状病毒研究爆发式增长，COVID-19 大流行仍在美国导致 110 万人死亡。这些新发现向临床干预的转化缓慢，导致患者预后更差和不必要的死亡。原因之一是被患者压垮的临床医生难以跟上新冠文献的新增速度。一个潜在的解决方案是开发一种利用大语言模型（LLMs）——部署于自然语言处理的神经网络——评估冠状病毒文献的工具。LLMs 可用于总结并提取用户指定信息。LLMs 与预处理冠状病毒文献数据库的更广泛可用与进步，提供了通过冠状病毒文献专用 LLM（covLLM）辅助临床医生评估冠状文献的机会，该工具直接接收输入的研究文章与用户查询并返回答案。利用 COVID-19 开放研究数据集（CORD-19），我们生成了两个数据集：（1）synCovid，结合手写提示与使用 OpenAI 生成的合成提示；（2）真实摘要，包含摘要与标题对。covLLM 以 LLaMA 7B 为基线模型训练，产生三个模型，分别训练于（1）Alpaca 与 synCovid 数据集，（2）synCovid 数据集，（3）synCovid 与真实摘要数据集。这些模型由两名人类评估者与 ChatGPT 评估。结果表明，在 synCovid 与摘要对数据集上训练 covLLM 表现可与 ChatGPT 竞争，并优于主要使用 Alpaca 数据集训练的 covLLM。
引用
@article{arxiv.2306.04926,
title = {covLLM: Large Language Models for COVID-19 Biomedical Literature},
author = {Yousuf A. Khan and Clarisse Hokia and Jennifer Xu and Ben Ehlert},
journal= {arXiv preprint arXiv:2306.04926},
year = {2023}
}