加倍或归零:用于众包的乘法激励机机制
计算机科学与博弈论
2015-12-17 v3 人机交互
机器学习
摘要
众包在机器学习应用中获取大量标注数据方面已变得极为流行。众包成本低廉且速度快,但受限于数据质量低下的问题。为解决众包中的这一根本挑战,我们提出了一种简单的支付机制,以激励工人仅回答他们确定的问题而跳过其余问题。我们表明,令人惊讶的是,在温和且自然的“不劳无获”要求下,该机制是唯一可能的激励相容支付机制。我们还表明,在所有可能的激励相容机制(无论是否满足不劳无获条件)中,我们的机制向垃圾信息发送者支付的金额最少。我们进一步将结果扩展到一个更通用的场景,其中要求工人对每个问题提供量化的置信度。有趣的是,这一独特机制采取了“乘法”形式。机制的简单性是一个额外的好处。在涉及超过 900 个工人 - 任务对的初步实验中,我们观察到在相同或更低的货币支出下,该独特机制下的错误率显著下降。
引用
@article{arxiv.1408.1387,
title = {Double or Nothing: Multiplicative Incentive Mechanisms for Crowdsourcing},
author = {Nihar B. Shah and Dengyong Zhou},
journal= {arXiv preprint arXiv:1408.1387},
year = {2015}
}