探索经验软件工程研究中分岔之园：一种多元宇宙分析

在经验软件工程（SE）研究中，研究人员具有相当大的自由度，可决定如何处理数据、采用何种操作化方式以及拟合何种统计模型。Gelman 和 Loken 将这种自由度称为“分岔之园”。尽管这种自由度常被视为优势，但也会严重影响鲁棒性和可重复性：即使在合理的前提下，分析决策的变动也可能导致结论的差异。为更好地理解这一风险，我们对一篇已发表的经验 SE 论文进行了所谓的多元宇宙分析。我们选取的论文是一篇 Mining Software Repositories 研究，因为 MSR 研究通常使用非平凡的统计模型来分析事后、观察性数据。在该研究中，我们识别出九个关键分析决策——每项决策至少有一个同样合理的备选方案——并对原始数据集上的所有 3072 种结果分析管道进行了系统性重新运行。有趣的是，只有 6 个宇宙（<0.2%）再现了已发表结果；绝大多数产生的是质量不同的、甚至相反的发现。这一对经验软件工程数据常用数据分析方法的案例研究揭示了方法论选择对结果影响远超人们通常所认识的程度。因此，我们主张 SE 研究人员在标准报告之外补充跨可行分析变体的鲁棒性检查，或至少明确对每一分析决策进行合理化论证。我们提出了一种结构化分类模型，以帮助分类和改进方法论选择的合理化。其次，我们展示了多元宇宙分析是 SE 研究人员方法工具箱中实用的工具，可帮助产生更可靠、更可重复的科学。