Web 测试基准测试：Selenium 与 Watir 以及编程语言和浏览器的选择
软件工程
2016-11-03 v1
摘要
上下文：Selenium 被称为最流行的软件测试自动化工具。过去的学术工作主要忽视了测试工具，而偏向于更方法论的课题。目的：我们研究了 Web 测试工具的性能，以提供支持软件测试工具选择和配置的经验证据。方法：我们使用 4*5 因子设计来研究测试网络商店的 20 种不同配置。我们研究了 5 种编程语言绑定（Selenium 支持 C#、Java、Python 和 Ruby，而 Watir 仅支持 Ruby）和 4 种浏览器（Google Chrome、Internet Explorer、Mozilla Firefox 和 Opera）。性能通过执行时间、内存使用、测试脚本长度和测试稳定性来衡量。结果：综合考虑所有度量，最佳配置是 Selenium 与 Python 语言绑定用于 Chrome。Selenium 与 Python 绑定是所有浏览器的最佳选项。最慢和最快配置之间差异的效应量非常大（Cohens d=41.5，执行时间增加 91%）。总体而言，Internet Explorer 是最快的浏览器，但在稳定性方面结果最差。结论：我们建议在采用工具之前对其进行基准测试。因素的权衡，例如为了更快的性能愿意牺牲多少测试稳定性，会影响决策。
引用
@article{arxiv.1611.00578,
title = {Benchmarking Web-testing - Selenium versus Watir and the Choice of Programming Language and Browser},
author = {Miikka Kuutila and Mika Mäntylä and Päivi Raulamo-Jurvanen},
journal= {arXiv preprint arXiv:1611.00578},
year = {2016}
}
备注
40 pages, 3 figures, 26 tables