FROG：一种快速可靠的众包框架（技术报告）

数十年来，众包因其将大量任务外包给人类工人而受到学术界和工业界的广泛关注。现有工作考虑通过投票或学习方法来提高任务准确率，但通常未充分考虑到降低任务完成的延迟。当任务请求者发布一组任务（例如情感分析）时，只有在该组最后一个任务完成后才能获得所有任务的答案。因此，该组中即便一个任务的时间延迟也可能使请求者工作的下一步从数分钟拖延至数天，这对请求者而言是极不希望的。受任务准确率与延迟重要性的启发，本文提出一种新颖的众包框架，即快速可靠众包框架（FROG），其智能地将任务分配给工人，从而降低任务延迟并满足任务的预期准确率。具体而言，我们的FROG框架由两个重要组件构成：任务调度模块与通知模块。对于任务调度模块，我们形式化了一个FROG任务调度（FROG-TS）问题，其中服务器主动将任务分配给具有高可靠性和低延迟的工人。我们证明FROG-TS问题是NP难的。因此，我们设计了两种启发式方法：基于请求的和基于批处理的调度。对于通知模块，我们定义了一个高效工人通知（EWN）问题，其仅向那些极有可能接受任务的工人发送任务邀请。为解决EWN问题，我们提出了一种平滑核密度估计方法来估计工人接受任务邀请的概率。通过大量实验，我们在真实和合成数据集上证明了所提FROG平台的有效性与高效性。