众包控制：超越多项选择
人工智能
2012-10-19 v1 机器学习
摘要
为了确保众包任务的结果质量，请求者通常聚合工人的响应，并使用多种策略之一从一组噪声响应中推断正确答案。然而，所有当前模型都假设预先知道任务的所有可能结果。虽然对于可以表述为多项选择题的任务（例如 n 元分类），这不是一个不合理的假设，但我们观察到许多任务并不自然适合这种范式，而是需要自由响应形式，其中结果空间是无限大的（例如音频转录）。我们用一种新颖的概率图模型对此类任务进行建模，并设计和实现了 LazySusan，这是一种决策理论控制器，能够动态请求必要的响应以推断这些任务的答案。我们还设计了一种 EM 算法，用于在同时推断多个任务正确答案的同时联合学习我们模型的参数。在 Amazon Mechanical Turk 上进行的实时实验表明，LazySusan 在解决 SAT 数学问题方面优于最先进的多数投票策略，消除了 83.2% 的误差并实现了更高的净效用。我们还通过实时实验表明，我们的 EM 算法在我们设计的可视化任务上优于多数投票。
引用
@article{arxiv.1210.4870,
title = {Crowdsourcing Control: Moving Beyond Multiple Choice},
author = {Christopher H. Lin and Mausam and Daniel Weld},
journal= {arXiv preprint arXiv:1210.4870},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-Eighth Conference on Uncertainty in Artificial Intelligence (UAI2012)