你是真正的软件工程师吗？软件工程研究中在线招募的最佳实践

在线研究平台（如 Prolific）提供了快速访问多样化参与者库的途径，但在参与者资格和技能验证方面也带来了独特的挑战。以往的研究报告了利用在线平台招募合格软件工程师的混合结果和挑战。基于我们使用 Prolific 进行三项不同研究的经验，我们提出了招募和筛选参与者的最佳实践，以提高定性和定量软件工程 (SE) 研究样本的质量和相关性。我们提出了在 Prolific 上进行 SE 研究招募的改进最佳实践。(1) 迭代和受控的预筛选，实现对提交的集中且可管理的评估；(2) 面向任务和有针对性的问题，评估技术技能、基本 SE 概念知识以及专业参与度；(3) AI 检测以验证自由文本响应的真实性；(4) 对响应进行定性和人工评估，确保参与者答案的真实性和相关性；(5) 在必要时需要额外的预筛选层，以收集与研究主题相关的数据；(6) 资格确认后给予公平或慷慨的报酬，以激励真正的参与。通过分享我们的经验和教训，我们为 SE 实证研究有效和严谨方法的发展做出了贡献，特别是为确保可靠数据收集而建立指南的持续努力。这些实践具有转移到其他参与者招募平台的潜力。