相较于多数投票法，使用成对比较的众包主观标注可降低偏差与误差

如何更好地减少众包标注中由主观性引入的测量变异与偏差仍是一个开放问题。我们引入了一个理论框架，用以理解随机误差与测量偏差如何进入主观构念的众包标注中。随后我们提出了一种将成对比较标注与 Elo 评分相结合的流程，并证明其在降低这两类测量误差方面优于普遍使用的多数投票法。为评估标注方法的性能，我们构建了一个基于智能体的众包标注模型，使我们能够在任务中引入不同类型的主观性。我们发现，在大多数具有任务主观性的条件下，比较方法产生了更高的 $f_1$ 分数。此外，比较方法不易放大偏差，而多数投票往往会出现偏差放大。为便于应用，我们通过模拟与真实数据表明，在相同分类精度下所需随机比较的数量随标注项数目呈对数线性缩放 $O(N \log N)$。我们还将 Elo 系统实现为一个开源 Python 包。