你的 Qrels 区分度如何？如何研究文档裁定方法的统计显著性
信息检索
2023-08-29 v2
摘要
为离线检索评估创建测试集需要人工判断文档相关性。这一昂贵工作促使大量研究致力于以更低判断成本构建基准的方法。就此，裁定方法主动决定专家审阅哪些文档及其顺序，以更好利用判断预算或降低成本。研究者通过度量系统在完整测试集下的已知黄金排序与低成本测试集下观测排序之间的相关性来评估这些方法的质量。该传统分析忽略了低成本判断是否及如何影响系统间相对于完整集的统计显著差异。我们填补此空白，提出一种新方法，用于评估低成本裁定方法在多大程度上保留系统间如同完整集的成对显著差异。换言之，传统方法寻求回答“系统 A 是否优于系统 B？”时的稳定性，而我们提出的方法寻求回答“系统 A 是否显著优于系统 B？”时的稳定性，后者是研究者为保证结果可推广性所需回答的根本问题。除其他结果外，我们发现就系统排序相关性而言最优的方法并不总与保留统计显著性的方法一致。
引用
@article{arxiv.2308.09340,
title = {How Discriminative Are Your Qrels? How To Study the Statistical Significance of Document Adjudication Methods},
author = {David Otero and Javier Parapar and Nicola Ferro},
journal= {arXiv preprint arXiv:2308.09340},
year = {2023}
}