模糊测试微服务：基于 EvoMaster 在工业系统上的一系列行业用户研究
软件工程
2024-08-23 v2
摘要
随着若干由数千个 Web 服务组成的微服务架构用于服务 6.3 亿客户，美团等公司在其软件的验证与确认方面面临诸多挑战。本文报告了我们将 EvoMaster（一种基于搜索的白盒模糊测试器）集成到美团测试流程中近两年的经验。2021 年和 2023 年分别开展了两项用户研究，以评估两个版本的 EvoMaster 在解决作为大型电商微服务系统一部分的工业 Web 服务测试生成问题上的表现。两项用户研究共涉及来自五个 API 的 321,131 行代码以及美团的 27 名工业参与者。两项用户研究中均对美团员工进行了问卷和访谈。两项用户研究展示了 EvoMaster 的明显优势（即代码覆盖率和故障检测）以及工业微服务测试中对此类模糊测试器的迫切需求。为研究这些结果如何泛化，2024 年对五家不同公司的五名工程师开展了一项后续用户研究。我们的结果表明，除了其明显的实用性外，研究界仍需探究许多关键挑战以进一步提升性能。
引用
@article{arxiv.2208.03988,
title = {Fuzzing Microservices: A Series of User Studies in Industry on Industrial Systems with EvoMaster},
author = {Man Zhang and Andrea Arcuri and Yonggang Li and Yang Liu and Kaiming Xue and Zhao Wang and Jian Huo and Weiwei Huang},
journal= {arXiv preprint arXiv:2208.03988},
year = {2024}
}