适用于在线部署的真值推断算法验证数据集

为实现高效且低成本的大规模数据标注，众包正得到越来越多的应用。为保证数据标注质量，需要为每个数据样本收集多个标注，并已开发出真值推断算法以准确推断真实标签。尽管先前的研究已发布公开数据集以评估真值推断算法的有效性，但这些数据集通常仅关注单一类型的众包任务，且忽略了与工人标注活动相关的时间信息。这些局限性极大地限制了这些算法的实际适用性，尤其是在长期与在线真值推断场景中。在本文中，我们引入了一个从真实众包平台收集的大规模众包标注数据集。该数据集包含约两千名工人、一百万个任务与六百万条标注。数据在约六个月的时间内从各种类型的任务中收集，并保留了每条标注的时间戳。我们从多个视角分析了该数据集的特征，并在此数据集上评估了几种具有代表性的真值推断算法的有效性。我们期望该数据集能够促进未来关于跟踪工人在不同类型任务上的能力随时间变化的研究，并推动在线真值推断的增强。