中文

测试不稳定的成因、检测、影响与应对:一项多声道综述

软件工程 2022-12-05 v1

摘要

不稳定测试(结果非确定性的测试)对软件测试构成重大挑战。已知其会引发诸多严重问题,如降低测试的有效性与效率、拖延软件发布。近年来,针对不稳定测试的兴趣渐增,研究聚焦于不稳定性的不同方面,如成因识别、检测方法与缓解策略。测试不稳定性亦成为从业者(于博客、技术杂志等中)的关键讨论点,因不稳定测试的影响遍及整个行业。本文呈现一项多声道综述,考察研究与实践中如何对待不稳定测试这一主题。我们涵盖共计651篇文章(560篇学术文章与91篇灰色文献文章/帖子),并借助四个维度——成因、检测、影响与应对——梳理相关研究及知识体系。针对每一维度我们给出分类,并对现有研究、讨论、方法与工具加以归类。由此,我们提供了关于测试不稳定性的全面且当前的概览,涵盖学术观点与工业实践,并指明了未来研究的局限与机遇。

关键词

引用

@article{arxiv.2212.00908,
  title  = {Test Flakiness' Causes, Detection, Impact and Responses: A Multivocal Review},
  author = {Shawn Rasheed and Amjed Tahir and Jens Dietrich and Negar Hashemi and Lu Zhang},
  journal= {arXiv preprint arXiv:2212.00908},
  year   = {2022}
}

备注

Under review at Journal of Systems and Software