评估不稳定模拟器对自动驾驶系统测试的影响
软件工程
2023-12-01 v1 人工智能
摘要
模拟器被广泛用于测试自动驾驶系统（ADS），但其潜在的不稳定性可能导致测试结果不一致。我们通过解决两个关键问题来研究 ADS 基于仿真的测试中的测试不稳定性：（1）不稳定的 ADS 仿真如何影响依赖随机化算法的自动化测试？以及（2）机器学习（ML）能否在减少所需测试重跑次数的同时有效识别不稳定的 ADS 测试？我们从两个广泛使用的开源 ADS 模拟器与五种不同的 ADS 测试配置中获得的实证结果表明，ADS 中的测试不稳定性是常见现象，并会显著影响随机化算法所得的测试结果。此外，我们的 ML 分类器仅使用单次测试运行便有效识别不稳定的 ADS 测试，在三种不同 ADS 测试配置上取得了 %、 % 和 % 的 F1 分数。我们的分类器在 F1 分数表现上分别比需要至少执行两次测试的非 ML 基线高出 %、 % 和 %。我们以对研究范围、意义与局限性的讨论作结。我们在 Github 仓库中提供完整的复现包。
引用
@article{arxiv.2311.18768,
title = {Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems},
author = {Mohammad Hossein Amini and Shervin Naseri and Shiva Nejati},
journal= {arXiv preprint arXiv:2311.18768},
year = {2023}
}
备注
Accepted for publication by Empirical Software Engineering Journal (EMSE) (in November 2023)