CLAMShell：加速众包以实现低延迟数据标注
数据库
2015-09-22 v1
摘要
数据标注是一个必要但往往缓慢的过程，阻碍了现代数据分析交互系统的开发。尽管对人工数据标注的需求不断上升，但令人惊讶地缺乏解决其高且不可预测延迟的工作。本文介绍 CLAMShell，一个通过加速众包来实现持续低延迟数据标注的系统。我们提供了标注延迟来源的归类，并研究了若干大型众包标注部署以理解其经验延迟特征。受这些见解驱动，我们全面应对每种延迟来源，既通过开发新技术（如掉队者缓解与池维护），也通过优化现有方法（如众包保留池与主动学习）。我们在模拟中以及在 Amazon Mechanical Turk 上的实时工人上评估 CLAMShell，表明我们的技术相比现有众包标注策略可提供一个数量级的加速与方差缩减。
引用
@article{arxiv.1509.05969,
title = {CLAMShell: Speeding up Crowds for Low-latency Data Labeling},
author = {Daniel Haas and Jiannan Wang and Eugene Wu and Michael J. Franklin},
journal= {arXiv preprint arXiv:1509.05969},
year = {2015}
}