众包实验报告现状及辅助现行实践的核查清单

众包正日益被采用作为开展人类受试者研究的平台。运行众包实验涉及若干选择与策略，以成功将实验设计移植到原本不受控的研究环境中，例如抽样众包工作者、将实验条件映射到微任务，或确保贡献质量。尽管已有若干指南为研究者的这些选择提供指导，但关于如何以及报告众包实验哪些内容的指引在很大程度上被忽视。若报告不足，实施选择会构成变异来源，影响实验的可重复性并妨碍对研究结果的公正评估。在本文中，我们审视众包实验报告的现状，并提供解决相关报告问题的指导。我们首先依托现有文献与专家访谈识别合理的实施选择，进而广泛分析 171 项众包实验的报告情况。基于该过程，我们提出一份众包实验报告核查清单。