测试自动化成熟度提升产品质量——基于持续集成的开源项目定量研究
软件工程
2022-02-10 v1
摘要
由于市场频繁发布产品特性或更新的压力，持续集成（CI）的流行度正在上升。CI 以速度交付质量的能力依赖于可靠的测试自动化。本文中，我们提出一项实证研究，以观察测试自动化成熟度（由文献中的标准最佳实践评估）对开源项目 CI 语境下产品质量、测试自动化投入与发布周期的影响。我们开展了测试自动化成熟度调查，并获得来自 37 个开源 Java 项目的回复。我们还挖掘了相同项目的软件仓库。回归分析的主要结果显示，更高水平的测试自动化成熟度与更髙的产品质量（p值=0.000624）和更短的发布周期（p值=0.01891）正相关；没有统计显著证据表明测试自动化投入因测试自动化成熟度与产品质量的提髙而增加。因此，我们得出结论：在开源项目 CI 语境下，提升测试自动化成熟度（使用标准最佳实践）的潜在益处在于产品质量改善与发布周期加速。我们鼓励未来研究通过添加更多具有不同编程语言与 CI 工具的数据集、闭源项目以及大规模工业项目来扩展我们的发现。我们对从业者（在类似 CI 语境下）的建议是利用标准最佳实践来提升测试自动化成熟度。
引用
@article{arxiv.2202.04068,
title = {Test Automation Maturity Improves Product Quality -- Quantitative Study of Open Source Projects Using Continuous Integration},
author = {Yuqing Wang and Mika Mäntylä and Zihao Liu and Jouni Markkula},
journal= {arXiv preprint arXiv:2202.04068},
year = {2022}
}