运行受控众包实验的挑战与策略
人机交互
2020-11-06 v1
摘要
本文报告了我们在众包平台上运行受控实验时所遇到的挑战与经验教训。众包正成为一种有吸引力的技术，用于让多样化且庞大的受试群体参与实验研究，使研究者能够达到在实验室环境中 otherwise 不可行的规模与完成时间水平。然而，这种规模与灵活性是以众包平台技术限制以及“野外”运行受控实验挑战所带来的多重且有时未知的偏差与混杂因素为代价的。在本文中，我们以运行任务设计的系统性评估的经验作为激励示例，探索、描述并量化运行不受控众包实验的潜在影响，并推导可能的应对策略。在已识别的挑战中，我们可以提及抽样偏差、控制受试者到实验条件的分配、学习效应以及众包结果的可靠性。根据我们的实证研究，潜在偏差与混杂因素的影响可导致不受控环境下收集数据的效用损失达 38%，并会显著改变实验结果。这些问题最终启发我们实现了 CrowdHub，一个位于主流众包平台之上、允许研究者与从业者运行受控众包项目的系统。
引用
@article{arxiv.2011.02804,
title = {Challenges and strategies for running controlled crowdsourcing experiments},
author = {Jorge Ramírez and Marcos Baez and Fabio Casati and Luca Cernuzzi and Boualem Benatallah},
journal= {arXiv preprint arXiv:2011.02804},
year = {2020}
}