利用 LLM 实现系统文献综述中的半自动语料库过滤
机器学习
2026-02-18 v1 数字图书馆
人机交互
摘要
系统文献综述（SLR）的创建对分析研究领域的格局并指导未来研究方向至关重要。然而，检索和过滤 SLR 的语料库过程耗时且需要大量的手动工作，因为关键词搜索在数字图书馆中常返回大量无关的出版物。在本工作中，我们提出了一个利用多个大型语言模型（LLM）的管道，通过描述性提示对论文进行分类，并通过共识方案进行联合决策。整个过程在人类监督下进行，通过我们提供的开源可视化分析 Web 界面 LLMSurver 实现实时检查和修改模型输出。我们使用包含超过 8000 份候选论文的最新 SLR 中的 ground-truth 数据进行评估， benchmarking 了来自 2024 年中期和 2025 年秋季的开源和商业最先进的 LLM。结果表明，我们的管道显著减少了人工工作量，同时实现的错误率低于单位人类标注者。此外，现代开源模型证明足以完成此任务，使该方法具有可访问性和成本效益。总体而言，我们的工作展示了负责任的人机协作如何在学术工作流程中加速并提升系统文献综述。
引用
@article{arxiv.2510.11409,
title = {Leveraging LLMs for Semi-Automatic Corpus Filtration in Systematic Literature Reviews},
author = {Lucas Joos and Daniel A. Keim and Maximilian T. Fischer},
journal= {arXiv preprint arXiv:2510.11409},
year = {2026}
}