Millionaire：一种提示引导的众包方法
人机交互
2018-03-07 v2 计算机科学与博弈论
摘要
现代机器学习正步入复杂模型时代，这需要大量标注良好的数据。尽管众包是实现这一目标的一种有前景的工具，现有的众包方法几乎无法获取足够数量的高质量标签。在本文中，受《百万富翁》电视节目中“带提示猜测”答题策略的启发，我们将提示引导方法引入众包以应对这一挑战。我们的方法鼓励众包工人在对问题不确定时从提示中获取帮助。具体而言，我们提出了一种混合阶段设置，由主阶段和提示阶段组成。当工人在主阶段遇到任何不确定的问题时，他们被允许进入提示阶段并在作答前查阅提示。我们设计了一种满足众包两个重要设计原则的独特支付机制。此外，该机制进一步鼓励高质量工人少用提示，这有助于识别他们并向其分配更大的可能报酬。我们在 Amazon Mechanical Turk 上进行了实验，结果表明我们的方法能以低开销确保足够数量的高质量标签，并检测出高质量工人。
引用
@article{arxiv.1802.09172,
title = {Millionaire: A Hint-guided Approach for Crowdsourcing},
author = {Bo Han and Quanming Yao and Yuangang Pan and Ivor W. Tsang and Xiaokui Xiao and Qiang Yang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1802.09172},
year = {2018}
}
备注
Machine Learning; Artificial Intelligence; Game Theory