面向系统综述的种子驱动文档排序：一项可复现性研究
信息检索
2021-12-09 v1
摘要
筛选或评估研究对于系统综述的质量和结果至关重要。通常，一个布尔查询会检索出待筛选的研究集合。由于检索到的研究集合是无序的，筛选所有检索到的研究通常是高质量系统综述所必需的。筛选优先级排序，或者说对研究集合进行排序，使得系统综述的下游活动能够并行开始。我们研究了一种利用种子研究——用于启动查询构建过程的潜在相关研究——进行筛选优先级排序的方法。我们的研究旨在复现该方法，以确定其是否可推广到最近发布的数据集上，并确定使用多个种子研究对有效性的影响。我们表明，虽然我们能够复现原始方法，但无法精确复制其结果。然而，我们认为这是由于文档预处理中的细微差异，而非原始方法论的缺陷。我们的结果还表明，我们复现的筛选优先级排序方法：(1) 在与原始实现相比具有相似和不同主题性的数据集上是可推广的；(2) 当使用多个种子研究时，使用我们的技术启用此功能后，该方法的有效性会提高；(3) 与单个种子研究相比，使用多个种子研究能产生更稳定的排序。最后，我们在以下URL公开了我们的实现和结果：https://github.com/ielab/sdr
引用
@article{arxiv.2112.04090,
title = {Seed-driven Document Ranking for Systematic Reviews: A Reproducibility Study},
author = {Shuai Wang and Harrisen Scells and Ahmed Mourad and Guido Zuccon},
journal= {arXiv preprint arXiv:2112.04090},
year = {2021}
}
备注
To be published in the 44th European Conference on Information Retrieval