利用富状态模拟人群增强 Meta 测试
软件工程
2024-03-25 v1
摘要
本文报告了在 Meta 部署富状态模拟人群用于自动化和手动测试的结果。我们使用模拟用户（即测试用户）来模仿用户交互并获取状态，其方式与真实用户账户获取状态的方式大致相同。对于自动化测试，我们展示了在 iOS 和 Android 平台的 Facebook、Messenger 和 Instagram 应用上部署的实证结果。这些应用包含数千万行代码，与数亿行后端代码通信，每天有超过 20 亿人使用。我们的结果表明，富状态将平均代码覆盖率提高了 38%，端点覆盖率提高了 61%。更重要的是，它还使自动化测试发现的故障平均增加了 115%。富状态测试用户人群也被部署在一个（持续演进的）测试宇宙中；这是一个用于隐私安全手动测试的基于网络的仿真平台，自 2022 年 11 月部署以来，已有超过 21,000 名 Meta 工程师使用。
引用
@article{arxiv.2403.15374,
title = {Enhancing Testing at Meta with Rich-State Simulated Populations},
author = {Nadia Alshahwan and Arianna Blasi and Kinga Bojarczuk and Andrea Ciancone and Natalija Gucevska and Mark Harman and Simon Schellaert and Inna Harper and Yue Jia and Michał Królikowski and Will Lewis and Dragos Martac and Rubmary Rojas and Kate Ustiuzhanina},
journal= {arXiv preprint arXiv:2403.15374},
year = {2024}
}
备注
ICSE 2024