使用 GPT-4 大语言模型进行范围综述的标题与摘要自动筛选
计算与语言
2023-11-15 v1
摘要
范围综述作为一种文献综述类型，需要大量人力来筛选众多学术来源以判断其与综述目标的相关性。本手稿介绍了 GPTscreenR，一个用于 R 统计编程语言的包，它使用 GPT-4 大语言模型（LLM）来自动筛选来源。该包利用了思维链技术，旨在最大化复杂筛选任务上的性能。在针对人类评审者共识决策的验证中，GPTscreenR 的表现与另一种零样本技术相似，其灵敏度为 71%、特异度为 89%、总体准确率为 84%。两种方法均未达到完美准确率，也未达到人类水平的观察者内一致性。GPTscreenR 展示了 LLM 支持学术工作的潜力，并提供了一个可集成到现有综述流程中的用户友好软件框架。
引用
@article{arxiv.2311.07918,
title = {Automated title and abstract screening for scoping reviews using the GPT-4 Large Language Model},
author = {David Wilkins},
journal= {arXiv preprint arXiv:2311.07918},
year = {2023}
}
备注
12 pages, 4 figures