Quizz：面向十亿（潜在）用户的有目标众包

我们描述了 Quizz，一个游戏化众包系统，它同时评估用户的知识并从他们那里获取新知识。Quizz 通过要求用户完成关于特定主题的短测验来运作；当用户回答测验问题时，Quizz 估计用户的能力。为获取新知识，Quizz 还纳入了我们不知晓确定答案的问题；有能力用户给出的答案为选择这些问题的正确答案提供了有用信号。Quizz 通过运行广告活动主动尝试在互联网上识别有知识的用户，有效利用了现有公开可用的广告投放服务的定向能力。Quizz 使用信息论量化用户的贡献，并向广告系统发送关于每个用户的反馈。该反馈使广告定向机制进一步优化广告投放。我们的实验涉及超过一万名用户，证实我们可以针对小众和专门主题进行知识管理的众包，因为广告网络能自动识别具有所需专业知识和兴趣的用户。我们提出了检验各种激励机制效果的对照实验，强调了需要将短期奖励作为目标以激励用户贡献的必要性。最后，我们的成本-质量分析表明，我们方法的成本低于通过付费众包平台雇佣工人的成本，同时提供了接触全球数十亿潜在用户的额外优势，并且能够触达现有劳动力市场通常不具备的专业知识用户。