来自众包人群的置信度报告是否有助于提升众包性能？
社会与信息网络
2017-04-05 v1 人机交互
摘要
我们探索了用于 元分类任务的有效众包系统设计。众包工人完成简单的二元微任务，其结果被聚合以给出最终分类决策。我们考虑工人具有拒绝选项的场景，即当他们无法或选择不响应二元微任务时，允许其跳过微任务。此外，工人在能够提交明确答案时会报告量化置信度水平。我们提出了一种使用加权多数投票规则的聚合方法，其中为每个工人的响应分配优化权重，以最大化人群的分类性能。我们得到了一个反直觉的结果：分类性能并未从工人报告量化置信度中获益。因此，众包系统设计者应采用拒绝选项，而无需要求报告置信度。
引用
@article{arxiv.1704.00768,
title = {Does Confidence Reporting from the Crowd Benefit Crowdsourcing Performance?},
author = {Qunwei Li and Pramod K. Varshney},
journal= {arXiv preprint arXiv:1704.00768},
year = {2017}
}
备注
6 pages, 4 figures, SocialSens 2017. arXiv admin note: text overlap with arXiv:1602.00575