CrowdHub：扩展众包平台以支持任务设计的受控评估
人机交互
2019-09-11 v2
摘要
我们提出 CrowdHub，一个在众包平台之上运行任务设计系统评估的工具。其目标是支持评估过程，避免潜在的实验偏差——根据我们的实证研究，在不受控的设置下，这些偏差可能导致所收集数据集效用损失高达 38%。借助 CrowdHub，研究人员可以映射其实验设计，并自动化管理任务随时间执行的复杂过程，同时控制回访工作者和众包人群的人口统计特征，从而减少偏差、提高所收集数据的效用，并更有效地利用有限的受试者群体。
引用
@article{arxiv.1909.02800,
title = {CrowdHub: Extending crowdsourcing platforms for the controlled evaluation of tasks designs},
author = {Jorge Ramírez and Simone Degiacomi and Davide Zanella and Marcos Baez and Fabio Casati and Boualem Benatallah},
journal= {arXiv preprint arXiv:1909.02800},
year = {2019}
}