关于不稳定测试的来源、影响与缓解策略的定性研究
软件工程
2021-12-10 v1
摘要
测试不稳定性（test flakiness）是一个主要的测试问题。不稳定测试表现出非确定性结果，会破坏持续集成并导致开发人员调查虚假警报。工业报告显示，在大规模情况下，不稳定测试的累积会破坏对测试套件的信任并带来显著的计算成本。为缓解此问题，从业人员不得不识别不稳定测试并调查其影响。为阐明此类缓解机制，我们访谈了 14 名从业人员，旨在识别 (i) 测试生态系统中不稳定性的来源，(ii) 不稳定性的影响，(iii) 从业人员在处理不稳定性时采取的措施，以及 (iv) 这些措施自动化的机会。我们的分析表明，除测试和代码外，不稳定性还源于系统组件、测试基础设施和外部因素之间的交互。我们还强调了不稳定性对测试实践和产品质量的影响，并表明采用指南配合稳定基础设施是缓解该问题的关键措施。
引用
@article{arxiv.2112.04919,
title = {A Qualitative Study on the Sources, Impacts, and Mitigation Strategies of Flaky Tests},
author = {Sarra Habchi and Guillaume Haben and Mike Papadakis and Maxime Cordy and Yves Le Traon},
journal= {arXiv preprint arXiv:2112.04919},
year = {2021}
}