众包与偏见：无黄金标准众包标注的不可能定理
社会与信息网络
2012-04-17 v1 计算机科学与博弈论
摘要
众包的一个常见用途是为数据集获取标签。已有几种算法被提出来识别众包中无信息的成员，以便可以忽略他们的标签并避免支付他们的成本。这些算法的一个常见动机是尝试在没有初始可信标记数据集的情况下进行。我们在博弈论环境中将这些算法分析为机制，以理解它们为工作者创造的激励。我们发现一个不可能结果：在没有真实标签的情况下，当工作者能够访问共同分享的“偏见”（他们同意这些偏见，但对真实标签没有信息）时，总是存在所有代理都报告偏见的均衡。发现少量黄金标准数据足以排除这些均衡。
引用
@article{arxiv.1204.3511,
title = {Crowd & Prejudice: An Impossibility Theorem for Crowd Labelling without a Gold Standard},
author = {Nicolás Della Penna and Mark D. Reid},
journal= {arXiv preprint arXiv:1204.3511},
year = {2012}
}
备注
Presented at Collective Intelligence conference, 2012 (arXiv:1204.2991)