众包中偏好判断的传递性、时间消耗与质量
信息检索
2021-04-20 v1
摘要
偏好判断已被证明是评估文档相对于查询相关性的比分级判断更优的替代方案。已有工作验证了从训练判官处收集的偏好判断间的传递性，其大幅减少了判断数量。此外，严格偏好判断与弱偏好判断（后者额外允许判官声明两文档对给定查询同等相关）在文献中均被广泛使用。然而，当从众包收集时传递性是否仍成立，即两类偏好判断表现是否相似，仍不明确。本工作中，我们利用众包平台从多位判官收集判断并聚合之，以在传递性、时间消耗与质量方面比较两类偏好判断。亦即，我们考察聚合判断是否传递、判官作出判断耗时几何、以及判官间及与 TREC 判断间是否一致。我们的核心发现是仅严格偏好判断具传递性。同时，弱偏好判断在传递性、时间消耗及判断质量方面表现不同。
引用
@article{arxiv.2104.08926,
title = {Transitivity, Time Consumption, and Quality of Preference Judgments in Crowdsourcing},
author = {Kai Hui and Klaus Berberich},
journal= {arXiv preprint arXiv:2104.08926},
year = {2021}
}
备注
Appeared in ECIR 2017