众包访问路径优化:多样性至关重要
机器学习
2015-08-12 v2 数据库
摘要
质量保证是众包中最重要的挑战之一。如果询问同质来源,将任务分配给多个工作者以通过冗余答案提高质量可能代价高昂。当前众包平台忽视了这一局限性,从而导致成本高昂的解决方案。为了实现理想的成本-质量权衡,必须应用高效的众包访问优化技术。我们的工作主张,优化需要意识到个体组内信息的多样性和相关性,以便可以事先充分规划众包冗余。基于这一直观想法,我们引入了访问路径模型 (APM),这是一种新颖的众包模型,利用访问路径的概念作为检索信息的替代方式。APM 聚合答案,确保高质量和有意义的置信度。此外,我们为该模型设计了一种贪心优化算法,该算法能找到可证明良好的近似计划来访问众包。我们在三个众包数据集上评估了我们的方法,这些数据集说明了问题的各个方面。我们的结果表明,访问路径模型与贪心优化相结合,具有成本效益且实用,能够克服大规模众包中的常见困难,如数据稀疏性和匿名性。
引用
@article{arxiv.1508.01951,
title = {Crowd Access Path Optimization: Diversity Matters},
author = {Besmira Nushi and Adish Singla and Anja Gruenheid and Erfan Zamanian and Andreas Krause and Donald Kossmann},
journal= {arXiv preprint arXiv:1508.01951},
year = {2015}
}
备注
10 pages, 3rd AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2015)