超越金钱激励：以连续时间马尔可夫链建模的有偿微任务竞赛实验

在本文中，我们旨在更好地理解有偿微任务众包如何借助竞赛来提升众包者的表现与参与度，从而发挥其吸引力与规模效应。我们介绍了基于微任务的标注平台 Wordsmith，该平台在金钱报酬之外还提供积分、排行榜和徽章等激励。我们的分析聚焦于一种特定类型的激励——竞赛，将其作为在近实时场景中应用众包的手段，这类场景中请求者需要快速获得标注。我们将众包竞赛建模为连续时间马尔可夫链，目标是最大化众包工作者的产出，同时调整一个参数，该参数根据工作者当前在排行榜上的排名决定其是否有资格获得奖励。我们开展了实证实验，从 CrowdFlower 招募的众包工作者在 Wordsmith 上执行标注微任务——在我们的案例中，是从 Twitter 帖子流中识别命名实体。在实验条件下，我们测试了不同的奖励跨度并记录收到的标注总数。我们将结果与对照组进行比较，对照组在 CrowdFlower 上完成相同标注任务但无时间或竞赛约束。实验表明，在实时竞赛中仅奖励最优贡献者可能是一种可行的更快交付结果的模式，尽管对于特定类型的标注任务质量可能受损。增大奖励跨度会带来更多完成的工作量，尤其是来自顶尖参赛者的。总体而言，这些实验为有偿微任务平台可能的设计改进提供了启示，以提升任务表现与速度，并使众包工作者的整体体验更公平、更有趣。