人力驱动的排序与连接
数据库
2011-10-03 v1
摘要
像亚马逊的Mechanical Turk（MTurk）这样的众包市场使得通过编程接口将小任务（如标记图像或查找电话号码）分配给人们成为可能。目前，用于处理数据集的人类MTurk任务通常需要大量重新实现常见工作流，并临时选择参数（如每个任务支付的价格）。我们描述了如何将众包集成到一个名为Qurk的声明式工作流引擎中，以减轻工作流设计者的负担。在本文中，我们重点介绍如何使用人类来比较项目以进行排序和连接数据，这是DBMS中最常见的两种操作。我们描述了我们的基本查询界面以及我们发布到MTurk的任务的用户界面。我们还提出了一系列优化，包括任务批处理、用数值评分替代成对比较、以及在连接前预过滤表，这些优化显著降低了在众包上运行排序和连接的总体成本。在一个连接两组图像的实验中，我们将总体成本从朴素实现的67美元降低到约3美元，而准确性和延迟基本不受影响。在一个端到端实验中，我们将成本降低了14.5倍。
引用
@article{arxiv.1109.6881,
title = {Human-powered Sorts and Joins},
author = {Adam Marcus and Eugene Wu and David Karger and Samuel Madden and Robert Miller},
journal= {arXiv preprint arXiv:1109.6881},
year = {2011}
}
备注
VLDB2012