仿真驱动的自动化端到端测试与测试集推理
软件工程
2023-02-07 v1
摘要
这是首项报告工业界大规模推理测试的工作。具体而言，它报告了在Meta自动化测试完整性系统的经验。我们构建了一个名为ALPACAS的内部工具，用于自动推理端到端完整性测试。完整性测试旨在通过检查当平台上发生有害行为时干预措施是否生效，来保障用户在线安全。ALPACAS不仅推理测试输入，还通过观察生产环境中阻止有害行为的干预措施来推理测试预言。这种方法使Meta能够为其平台（如Facebook和Instagram，包含数亿行生产代码）自动化生成完整性测试的过程。我们概述了ALPACAS的设计与部署，并报告了其覆盖率、测试推理过程各阶段产生的测试数量及其通过率的结果。具体而言，我们证明使用ALPACAS显著提高了其应用的完整性端到端测试特定方面的覆盖率，相较于手动测试设计。此外，从300万个数据点池中，ALPACAS自动生成了39个可直接用于生产的端到端完整性测试。我们还报告称，ALPACAS推理出的测试套件在端到端测试中具有极低的波动性，其平均生产环境通过率为99.84%。
引用
@article{arxiv.2302.02374,
title = {Simulation-Driven Automated End-to-End Test and Oracle Inference},
author = {Shreshth Tuli and Kinga Bojarczuk and Natalija Gucevska and Mark Harman and Xiao-Yu Wang and Graham Wright},
journal= {arXiv preprint arXiv:2302.02374},
year = {2023}
}
备注
Accepted in ICSE 2023 (SEIP Track)