利用编码理论实现多类标注的可靠众包

众包系统通常包含执行任务不可靠的众包工人。在本文中，我们提出使用纠错码和解码算法来设计众包系统，以便在众包工人不可靠的情况下实现可靠的分类。基于编码理论的技术还允许我们向众包工人提出易于回答的二元问题。我们考虑三种不同的众包模型：具有独立众包工人的系统、具有同伴依赖奖励机制的系统以及工人拥有共同信息来源的系统。对于每种模型，我们分析了所提出的基于编码方案的分类性能。我们开发了用于衡量众包质量的排序原则，并描述了系统性能如何随众包质量的变化而变化。我们还表明，工人之间的配对和问题的多样化有助于提高系统性能。我们利用模拟数据和来自 Amazon Mechanical Turk（一个众包微任务平台）的真实数据集，展示了所提出的基于编码方案的有效性。结果表明，使用优良的编码可能会提高众包任务的性能，优于典型的多数投票方法。