你真的会编程吗？面向程序员在线调查的筛选问题设计与评估
人机交互
2021-03-09 v1
摘要
为研究招募足够数量的职业程序员可能具有挑战性，因为他们往往抽不出时间，或受其地理分布及潜在成本所限。Clickworker或Qualtrics等在线平台确实提供了招募具备编程技能参与者的选项；然而误解与欺诈可能是问题。这可能导致不具备编程技能的参与者参加研究与调查。若未察觉这些参与者，他们会为调查数据带来有害噪声。本文中，我们开发了筛选问题，对具备编程技能者易于快速回答，而不具备者难以正确回答。为评估问卷的有效性与效率，我们招募了若干批具备与不具备编程技能的参与者并测试了这些问题。在我们的批次中，42%自称具备编程技能的Clickworker未达我们的标准，建议从研究中过滤掉这些人。我们还在对抗环境下评估了这些问题。最后给出一组推荐问题，供研究者从在线平台招募具备编程技能的参与者使用。
引用
@article{arxiv.2103.04429,
title = {Do you really code? Designing and Evaluating Screening Questions for Online Surveys with Programmers},
author = {Anastasia Danilova and Alena Naiakshina and Stefan Horstmann and Matthew Smith},
journal= {arXiv preprint arXiv:2103.04429},
year = {2021}
}