用于老虎机调查问题的自适应众包算法

最近，众包已成为分发和收集人类计算的事实平台，广泛应用于信息检索、自然语言处理和机器学习等各种任务和应用。当前的众包平台在质量控制方面存在一些局限性。确保高质量的大部分工作必须由实验者完成，他们需要管理达到良好结果所需的工人数量。我们提出了一种用于众包多项选择任务中自适应质量控制的简单模型，称之为\emph{老虎机调查问题}。该模型与著名的多臂老虎机问题相关，但在技术上有所不同。我们针对该问题提出了几种算法，并通过分析和模拟予以支持。我们的方法基于我们为一家大型商业搜索引擎进行相关性评估的经验。