软件仓库挖掘研究中“实验”一词的使用与误用
软件工程
2021-10-19 v1
摘要
软件仓库挖掘（MSR）在软件工程（SE）中的显著势头和重要性为广泛的实证研究带来了新的机遇与挑战。然而，MSR 研究人员似乎难以将其使用的实证方法归类到现有的实证 SE 知识体系中。MSR 实验的情况尤其如此。为了提供关于 MSR 实验的特殊特征及其与迄今为止 SE 中公认的传统实验之间差异的证据，我们提取了区分实验与其他类型实证研究的特征标志，并刻画了 MSR 中实验的特征标志与类型。我们分析了通过小规模系统映射研究获得的 MSR 文献，以评估 MSR 中“实验”一词的使用情况。我们发现，19% 声称是实验的论文实际上根本不是实验，而是观察性研究，因此它们以误导性的方式使用了该术语。在剩余 81% 的论文中，只有一篇是真正的对照实验，而其他则是控制有限的实验。MSR 研究人员往往忽略这些限制，从而损害了对其研究结果的理解。我们提供了建议和见解，以支持改进 MSR 实验。
引用
@article{arxiv.2110.09366,
title = {Use and Misuse of the Term Experiment in Mining Software Repositories Research},
author = {Claudia Ayala and Burak Turhan and Xavier Franch and Natalia Juristo},
journal= {arXiv preprint arXiv:2110.09366},
year = {2021}
}