如何度量面向系统的信息检索实验的可复现性
信息检索
2020-10-27 v1
摘要
实验结果的复现性（replicability）与可复现性（reproducibility）是所有科学领域的主要关切，IR（信息检索）亦不例外。除了推动该领域迈向更具可复现性的实验实践与协议这一问题外，我们还面临一个严峻的方法论问题：我们没有任何手段来评估何时算是“被复现了”。此外，我们缺乏任何面向可复现性的数据集，而这本可让我们开发此类方法。为解决这些问题，我们比较了若干种度量方法，以客观量化我们在多大程度上复现或再现了一个面向系统的IR实验。这些度量在不同粒度层级上运作，从对排序列表的细粒度比较，到对所得效应与显著性差异的更一般性比较。此外，我们还构建了一个面向可复现性的数据集，它使我们能够验证所提度量，并也可用于开发未来的度量。
引用
@article{arxiv.2010.13447,
title = {How to Measure the Reproducibility of System-oriented IR Experiments},
author = {Timo Breuer and Nicola Ferro and Norbert Fuhr and Maria Maistro and Tetsuya Sakai and Philipp Schaer and Ian Soboroff},
journal= {arXiv preprint arXiv:2010.13447},
year = {2020}
}
备注
SIGIR2020 Full Conference Paper