软件工程中以学生为参与者的受控实验：一项系统性映射研究的初步结果

[背景] 在软件工程研究中，强调对新方法进行严谨的评估。虽然行业调查或工业案例研究更适合评估工业适用性，但以学生为参与者的受控实验通常用于确定所提方法的有效性和效率等度量指标。[目标] 在本文中，我们详细阐述了使用学生参与者的受控实验的现状。由于学生参与者在科学界通常仅被勉强接受，且关于泛化能力的威胁相当明显，我们希望确定以学生为参与者的受控实验有多普遍，以及它们在何种情境下被使用。[方法] 本文报告了一项系统性映射研究，以软件工程领域的高质量期刊和会议作为数据源。我们扫描了 2010 年至 2014 年间发表的所有论文，并详细调查了所有报告学生实验的论文。[结果] 在调查的 2788 篇论文中，有 175 篇报告了受控实验的结果。其中 109 项（62.29%）受控实验是以学生为参与者进行的。大多数实验使用本科生参与者，自愿招募学生，并为他们设置任务以测量其理解能力。然而，许多实验缺乏关于学生招募及其他重要因素的信息。[结论] 总而言之，学生在软件工程实验中的参与可被视为一种常见的评估方法。相反，关于学生实验中有效性威胁的知识似乎很少，因为诸如招募等主要驱动因素根本没有被报告。