众包排序中算法不稳定性的起源

众包系统聚合许多人的决策，以帮助用户快速识别高质量选项，例如问题的最佳答案或有趣的新闻报道。众包中一个长期存在的问题是，选项质量与人类判断启发式如何相互作用以影响集体结果，例如选项的感知流行度。我们通过开展一项受控实验来解决这一局限，实验中受试者在两个排名选项之间进行选择，而这两个选项的质量可独立变化。我们利用该数据构建了一个模型，量化在两者之间做决策时判断启发式与选项质量如何结合。该模型揭示了流行度排序可能是不稳定的：除非两个选项之间的质量差异足够高，否则较高质量的选项不能保证最终排在首位。为纠正这种不稳定性，我们创建了一种算法，该算法考虑判断启发式以推断最佳选项并将其排在第一位。如果数据与模型匹配，该算法保证是最优的。然而，当数据与模型不匹配时，仿真表明在实践中，对于任何二选一问题，该算法的表现都优于或至少不逊于基于流行度和基于时效性的排序。我们的工作表明，依赖对用户行为的数学模型进行推断的算法可以大幅改善众包系统中的结果。