软件工程研究中使用学生作为实验对象——证据回顾与讨论

在软件工程中应否使用学生作为实验对象？鉴于学生在许多情况下易于获取且成本低廉，绝大多数软件工程中的受控实验使用他们也就不足为奇。但可以说他们构成了一种便利样本，可能无法代表目标人群（通常是“真实”开发人员），尤其在经验和熟练度方面。这使得许多研究者（和评审者）对基于学生的实验的外部效度有所保留，并声称不应使用学生。基于对已发表的比较学生与专业人员作品的广泛回顾，我们发现挑剔“学生”会适得其反，主要有两个原因。首先，按身份对实验对象分类仅仅是对更重要且更有意义分类（例如按能力分类）的替代，应投入精力定义和使用这些更有意义的分类。其次，在许多情况下使用学生完全合理，学生对象可用于获得可靠结果并推进研究目标。特别是，当研究涉及基础编程和理解技能时、当比较不需要大量学习曲线的工具或方法时、以及在大型工业研究计划的初始形成阶段——换言之，在许多适合有限范围受控实验的情况下，似乎正是如此。