混合搭配：协作式专家—众包评判以准确且经济地构建测试集
信息检索
2018-06-12 v3
摘要
众包为 IR（信息检索）测试集收集相关性判断提供了一种经济且可扩展的手段。然而，众包标注者在判断质量上可能比受信任的标注者表现出更高的方差。本文中，我们研究了如何有效地让这两组标注者协作。我们具体考察了判断一致性如何与三个因素相关：相关性类别、文档排序和主题方差。基于此，我们提出了两种协作式判断方法，其中一部分文档—主题对由内部评委评估，其余由众包工作者评估。在两个 TREC 测试集上进行的实验显示，当我们在两组标注者之间智能分配工作时，结果令人鼓舞。
引用
@article{arxiv.1806.00755,
title = {Mix and Match: Collaborative Expert-Crowd Judging for Building Test Collections Accurately and Affordably},
author = {Mucahid Kutlu and Tyler McDonnell and Aashish Sheshadri and Tamer Elsayed and Matthew Lease},
journal= {arXiv preprint arXiv:1806.00755},
year = {2018}
}