软件工程实验中的交叉设计：分析现状综述

实验是任何经验学科中进行因果推断的基本方法。交叉设计实验在软件工程（SE）研究中很常见。在这类实验中，受试者以不同顺序应用多种处理。这种设计增加了获取的数据量并处理了受试者变异性，但也引入了对内部效度的威胁，如学习效应和遗留效应。Vegas等人回顾了SE研究中交叉设计的实践现状，并提供了如何在数据分析中应对其威胁同时利用其优势的指南。在本文中，我们反思了这些指南的影响，并回顾了2015年至2024年3月期间SE出版物中交叉设计实验的分析现状。为此，通过对指南进行前向滚雪球式检索，我们调查了报告67个交叉设计实验的136篇出版物，并根据提供的指南评估了其数据分析。结果表明，与最初的分析现状相比，数据分析的效度有所提高。然而，尽管有明确的指南，所有效度威胁中只有29.5%得到了妥善处理。虽然成熟度威胁和最优序列威胁在我们样本的所有研究中分别有35.8%和38.8%得到了妥善处理，但遗留效应威胁仅在约3%的观察案例中被建模。对分析指南的缺乏遵循威胁到了从交叉设计实验中得出的结论的效度。