一种基于模型的方法用于规范计算机科学实证研究的复刻变更
软件工程
2022-06-28 v1
摘要
背景：计算机科学（CS）研究界广泛认识到需要复刻实证研究以巩固所获知识并推广结果。理解一系列研究家族中实验效度的演化，报告每次复刻的变更至关重要。遗憾的是，相关提案的缺乏削弱了这些目标。目标：我们工作的主要目标是为CS及其他研究领域的研究者提供一种系统的、工具支持的方法，用于报告其实证研究复刻中的变更。方法：应用设计科学研究（DSR），我们开发并验证了一个复合制品，包括（i）复刻及其变更相关概念的元模型；（ii）用于报告这些概念的模板与语言模式；以及（iii）支持所提方法的基于模型的软件概念验证工具。为验证，我们开展了包含来自CS与农业生物学的9个实证研究家族的多案例研究。这9个家族涵盖23项复刻研究与92项复刻变更，我们分析了所提方案的适用性。结果：多案例研究揭示了我们方法在实验效度威胁或上下文变量方面的若干初始局限。经过若干改进迭代，所有92项复刻变更均能被恰当规范，包括其对实验家族中实验效度的定性估计影响及相应可视化。结论：我们用于规范复刻变更的提案似乎不仅契合CS中复刻的需求，也契合其他研究领域的需求。然而，仍需进一步研究以改进并推广其在研究界中的使用。
引用
@article{arxiv.2206.13204,
title = {A Model-Based Approach for Specifying Changes in Replications of Empirical Studies in Computer Science},
author = {Margarita Cruz and Beatriz Bernárdez and Amador Durán and Cathy Guevara-Vega and Antonio Ruiz-Cortés},
journal= {arXiv preprint arXiv:2206.13204},
year = {2022}
}