面向复杂标注的高效在线众包

众包平台使用各种真值发现算法来聚合多个标注者的标注。然而，在在线环境中，主要的挑战在于决定是否为每个项目请求更多标注，以在成本（即标注数量）和聚合标注的质量之间进行有效权衡。在本文中，我们针对通用复杂标注（如边界框和分类路径）提出了一种新颖的方法，该方法适用于在线众包环境。我们证明了标注者的期望平均相似度与其在给定报告标签条件下的准确度呈线性关系。这使我们能够在广泛的场景中推断出报告标签的准确度。我们对来自Meta的真实世界众包数据进行了广泛评估，并展示了我们提出的在线算法在改善成本-质量权衡方面的有效性。