计算机科学中的系统综述收录
信息检索
2026-04-21 v1 数字图书馆
摘要
系统综述是综合科学证据的标准方法，但其创建需要大量手动工作，尤其是在检索和筛选阶段。虽然最近的工作探索了自动化这些步骤，但评估资源主要局限于生物医学领域，限制了其他领域的可重复实验。本文引入 SR4CS，一大批计算机科学领域的系统综述集合，旨在支持可重复的布尔查询生成、检索和筛选研究。该语料库包含 1,212 项系统综述及其原始专家设计的布尔检索查询、104,316 项已解决参考文献以及结构化方法学元数据。为进行受控评估，还提供原始布尔查询的标准化、近似形式，适用于标题和摘要。为说明本收藏的预期用途，基准实验比较了近似专家布尔查询与零-shot LLM 生成的布尔查询、BM25 和稠密检索在统一评估设置下的表现。结果揭示了检索范式之间在精确率、召回率和排序行为上的系统差异，暴露了直接零-shot 布尔生成的局限性。SR4CS 在 Zenodo 上（https://doi.org/10.5281/zenodo.17163932）发布，附带文档和代码（https://github.com/webis-de/scolia26-sr4cs），以支持可重复评估和未来研究在扩大系统综述自动化方面。
引用
@article{arxiv.2604.16330,
title = {A Collection of Systematic Reviews in Computer Science},
author = {Pierre Achkar and Tim Gollub amd Martin Potthast},
journal= {arXiv preprint arXiv:2604.16330},
year = {2026}
}
备注
Accepted at SCOLIA26 Workshop