众包中试点研究报告的现状：对最佳实践与指南的反思
人机交互
2023-12-14 v1 计算机与社会
摘要
试点研究是众包活动设计的重要基石，但在学术文献中往往只是一笔带过。众包研究中缺乏关于试点研究的细节，阻碍了研究的复现和结果的再现，阻碍了潜在的科学进步。我们对众包与人机交互（HCI）研究交叉领域的试点研究报告现状进行了系统性文献综述。我们对十年文献的回顾包括发表在人类计算与众包会议（AAAI HCOMP）论文集和 ACM 数字图书馆中的 171 篇文章。我们发现众包研究中的试点研究（即众包试点研究）在文献中往往报告不足。重要细节，例如工人数量和给工人的奖励，往往未被报告。基于我们的发现，我们反思了当前的实践状态，并制定了一套用于报告众包研究中众包试点研究的最佳实践指南。我们还提供了对众包平台设计的启示，并提出了支持众包试点研究报告的实用建议。
引用
@article{arxiv.2312.08090,
title = {The State of Pilot Study Reporting in Crowdsourcing: A Reflection on Best Practices and Guidelines},
author = {Jonas Oppenlaender and Tahir Abbas and Ujwal Gadiraju},
journal= {arXiv preprint arXiv:2312.08090},
year = {2023}
}
备注
Accepted at CSCW '24. 45 pages, 17 figures, 1 table