全面可靠的众包评估算法

评估工人是任何众包系统的关键方面。在本文中，我们设计了通过寻找工人错误率的置信区间来评估工人的技术。与以往工作不同，我们专注于“简洁性”——即给出尽可能紧的置信区间。简洁性至关重要，因为它使我们能够确信我们对工人错误率拥有最佳的保证。同样与以往工作不同的是，我们提供的技术适用于非常普遍的场景，例如并非所有工人都尝试了每项任务（实践中相当常见的情形）、任务具有非布尔响应，以及工人对正面和负面任务具有不同的偏差。我们通过在多种条件和多个真实世界数据集上进行测试，展示了我们置信区间的简洁性以及准确性。