无需为数量牺牲数据质量：面向视觉数据高性价比理解的众包知情机器标注

标注视觉数据既昂贵又耗时。众包系统有望通过受金钱或其他动机驱动的参与者的参与，实现高度并行化的标注，但即使这种方法也有其局限性。解决方案是：用机器工作取代人工工作。但机器标注员有多可靠？为高吞吐量而牺牲数据质量是不可接受的，尤其是在自动驾驶等安全关键应用中。在本文中，我们提出了一个框架，能够在不牺牲结果可靠性的前提下，对大规模视觉数据进行质量检查。我们向标注员提出具有离散答案的简单问题，这些问题可以通过训练用于预测众包响应的卷积神经网络实现高度自动化。与以往旨在直接预测软标签以解决人类不确定性的工作不同，我们使用软标签上的每任务后验分布作为训练目标，并利用Dirichlet先验以实现解析上的可处理性。我们在两个具有挑战性的真实世界汽车数据集上展示了我们的方法，表明我们的模型可以完全自动化很大一部分任务，节省了高两位数百分比范围的成本。我们的模型可靠地预测了人类的不确定性，从而能够更准确地检查和过滤困难样本。此外，我们表明我们的模型预测的软标签上的后验分布可以用作进一步推理过程中的先验，减少了对大量人类标注员准确逼近真实软标签的需求。这进一步降低了成本，并提高了标注过程中人力资源的使用效率。