抽查等价性：一种用于信息提取机制的可解释度量

由于高质量数据对于人工智能系统而言如同氧气一般，有效地从众包工作者那里提取信息已成为开发高性能机器学习算法的首要问题。抽查（spot-checking）和同行预测（peer prediction）是两种流行的范式，它们使得设计用于评估和激励人工标注者提供高质量数据的机制成为可能。迄今为止，至少已有三种度量被提出用于比较这些技术的性能 [33, 8, 3]。然而，不同的度量在不同情境下会导致分歧甚至矛盾的结果。在本文中，我们调和了这些分歧的观点，表明其中两种度量在特定情境下实际上是相同的，并解释了第三种度量的分歧原因。此外，我们通过引入\textit{抽查等价性}（Spot Check Equivalence）统一了这些不同的情境，该概念为同行预测机制的有效性提供了一种可解释的度量。最后，我们提出了两种在不同情境下计算抽查等价性的方法，仿真结果验证了我们所提出度量的有效性。