工业中自动化测试套件的维护：一项关于视觉 GUI 测试的实证研究
软件工程
2016-02-04 v1
摘要
背景：在实践中，验证与确认（V&V）活动占软件系统总开发成本的 20% 至 50%。测试自动化被提出以降低这些 V&V 成本，但现有研究仅提供了关于自动化测试维护成本及影响这些成本因素的有限工业实践经验数据。特别是，对于自动化基于 GUI 的测试，这些成本和因素尚属未知。目标：本文通过分析工业实践中自动化基于 GUI 的测试维护相关的成本和因素，弥补这一知识缺失。方法：报告了在两家公司（西门子与萨博）进行的实证研究，通过访谈和视觉 GUI 测试（Visual GUI Testing）的实证工作，获取关于该技术维护成本和可行性的数据。结果：观察到影响维护的 13 个因素，例如测试人员知识/经验和测试用例复杂度。此外，统计分析显示开发新测试脚本比维护成本更高，但频繁维护也比 infrequent、big bang 维护成本更低。另外，基于先前工作提出了一个成本模型，用于估算相比手动测试，测试自动化达到正向投资回报率（ROI）的时间。结论：得出结论，测试自动化能够降低项目整体软件开发成本，同时对软件质量有积极影响。然而，维护成本仍可能相当可观，且公司当前在手动测试上花费的时间越少，自动化后达到正向经济 ROI 所需的时间就越多。
引用
@article{arxiv.1602.01226,
title = {Maintenance of Automated Test Suites in Industry: An Empirical study on Visual GUI Testing},
author = {Emil Alégroth and Robert Feldt and Pirjo Kolström},
journal= {arXiv preprint arXiv:1602.01226},
year = {2016}
}