关于人机实验争议话题的进一步证据：专业人员与学生
软件工程
2025-06-16 v1
摘要
大多数软件工程（SE）的人机受控实验依赖学生作为参与者，这引发了关于其外部效度的担忧。具体而言，从学生获得的结果的现实性及其对软件行业的适用性仍然存在疑问。在这篇短文中，我们带来了关于这一争议话题的进一步证据。为此，我们比较了 62 名学生和 42 名软件专业人员在同一 Java 程序上的缺陷修复任务。学生就读于计算机科学本科专业，而专业人员受雇于两家跨国公司（其中一家，专业人员来自两个办公室）。两组参与者（学生和专业人员）的实验设置存在一些差异。例如，专业人员实验的实验环境更加现实；即他们在缺陷修复任务中面临一些压力因素，如中断。考虑到两组参与者之间的差异，所收集的数据显示学生在修复缺陷方面优于专业人员。这在某种程度上与过去的经验证据相偏离。与其给出确定性结论，我们的结果旨在催化关于在实验中使用学生的讨论，并为未来研究铺平道路。具体而言，我们的结果促使我们审视影响 SE 任务的复杂因素，使实验尽可能更加现实。
引用
@article{arxiv.2506.11597,
title = {Further Evidence on a Controversial Topic about Human-Based Experiments: Professionals vs. Students},
author = {Simone Romano and Francesco Paolo Sferratore and Giuseppe Scanniello},
journal= {arXiv preprint arXiv:2506.11597},
year = {2025}
}