盛名之下其实难副？学生相关性评估的可靠性研究
信息检索
2017-05-03 v1
摘要
在过去三年中，我们开展了一系列信息检索评估实验，共有 180 多名图书馆学与情报学（LIS）学生参与，对三个特定检索服务的结果进行了相关性评估。本研究不关注系统的检索性能，而是聚焦于相关性评估本身及其评估者间信度。为量化一致性，我们应用了 Fleiss' Kappa 和 Krippendorff's Alpha 统计量。对比这两项指标发现，平均 Kappa 值为 0.37，而 Alpha 值为 0.15。我们利用这两种一致性度量从数据集中剔除不可靠的评估结果。在计算未过滤与过滤后数据集的差异时，观察到均方根误差介于 0.02 至 0.12 之间。这表明分歧显著影响检索评估的可靠性。我们建议不要直接使用未过滤的结果，或应明确记录分歧率。
引用
@article{arxiv.1206.4802,
title = {Better Than Their Reputation? On the Reliability of Relevance Assessments with Students},
author = {Philipp Schaer},
journal= {arXiv preprint arXiv:1206.4802},
year = {2017}
}
备注
12 pages, to be published in Proceedings of Conference and Labs of the Evaluation Forum 2012 (CLEF 2012)