类别不平衡与顺序对众包相关性判定的影响
信息检索
2016-09-09 v1 人机交互
摘要
在本文中，我们研究了数据中某一类别占主导地位对众包工人效率和有效性的影响。我们旨在了解，在识别正标签时，工人看到大量负样本是否存在任何正面或负面偏差。为了检验我们的假设，我们设计了一个实验，要求众包工人判断以不同顺序呈现的文档的相关性。我们的研究结果表明，将相关结果先于非相关结果呈现时，相关性判定的质量有显著提升。
引用
@article{arxiv.1609.02171,
title = {The Effect of Class Imbalance and Order on Crowdsourced Relevance Judgments},
author = {Rehab K. Qarout and Alessandro Checco and Gianluca Demartini},
journal= {arXiv preprint arXiv:1609.02171},
year = {2016}
}