评分者间一致性对学生信息检索评估的影响
信息检索
2010-10-12 v1
摘要
本文是关于三种不同检索支持服务的信息检索评估。这三种服务均旨在补偿基于元数据的数字图书馆中出现的典型问题，而这些问题无法通过简单的基于tf-idf的检索得到充分处理。这些服务是：(1)基于共词分析的查询扩展机制，以及通过(2)布拉德福化和(3)作者中心性进行的重排序。这些服务由73名信息科学学生进行的相关性评估来评价。由于这些学生既不是信息专业人员也不是领域专家，因此考虑了评分者间一致性的问题。出现了两个重要启示：(1)评分者间一致性率主要处于一般到中等水平；(2)在去除一致性率较差的评估数据清洗步骤之后，评估数据表明这三种检索服务返回了不相交但仍相关的结果集。
引用
@article{arxiv.1010.1824,
title = {Implications of Inter-Rater Agreement on a Student Information Retrieval Evaluation},
author = {Philipp Schaer and Philipp Mayr and Peter Mutschke},
journal= {arXiv preprint arXiv:1010.1824},
year = {2010}
}
备注
7 pages, 3 figures, LWA 2010, Workshop IR