调节众包开放式响应的多样性
人机交互
2014-08-29 v1
摘要
众包可以解决当前完全自动化系统无法解决的问题。其有效性取决于驱动它的众包工人的可靠性、准确性和速度。这些目标常常相互矛盾。例如，应该给工人多少时间来发现和提出新解决方案，而不是对当前提出的方案进行深思熟虑？我们如何确定发现新答案是否合适？以及如何管理那些缺乏完成给定任务所需的专业知识或注意力的工人？我们提出了一种机制，对三种可能的工人行为——提议、投票或弃权——使用不同的报酬，为工人提供必要的激励，以保证在搜索新答案、评估当前可用答案以及当他们缺乏足够的专业知识或洞察力时弃权之间实现有效（甚至最优）的平衡。我们为这种机制提供了一种新颖的博弈论分析，并在一个图像标注问题上进行了实验测试，表明它允许系统可靠地控制发现新答案和收敛到现有答案之间的平衡。
引用
@article{arxiv.1408.6621,
title = {Tuning the Diversity of Open-Ended Responses from the Crowd},
author = {Walter S. Lasecki and Christopher M. Homan and Jeffrey P. Bigham},
journal= {arXiv preprint arXiv:1408.6621},
year = {2014}
}