基于仿真的生物启发搜索测试在 ADAS 案例研究中的机器学习测试
软件工程
2023-06-08 v4 人工智能
机器学习
神经与进化计算
摘要
本文给出 Deeper 的扩展版本,这是一种基于搜索的仿真集成测试方案,可生成揭示失败的测试场景以测试基于深度神经网络的车道保持系统。在新提议的版本中,我们利用一组新的生物启发搜索算法:遗传算法(GA)、 与 进化策略(ES)以及粒子群优化(PSO),它们利用高质量种群种子以及为建模测试场景所用的表示模型量身定制的特定领域交叉与变异操作。为展示 Deeper 中新测试生成器的能力,我们开展了实证评估并与 SBST 2021 网络物理系统测试竞赛中五个参赛工具的结果进行比较。我们的评估表明,Deeper 中新提议的测试生成器不仅相较前一版本有显著改进,而且被证明在引发大量多样的揭示失败的测试场景以测试机器学习驱动的车道保持系统方面有效且高效。它们能在有限的测试时间预算、高目标失败严重度与严格限速约束下触发若干失败并促进测试场景多样性。
引用
@article{arxiv.2203.12026,
title = {Machine Learning Testing in an ADAS Case Study Using Simulation-Integrated Bio-Inspired Search-Based Testing},
author = {Mahshid Helali Moghadam and Markus Borg and Mehrdad Saadatmand and Seyed Jalaleddin Mousavirad and Markus Bohlin and Björn Lisper},
journal= {arXiv preprint arXiv:2203.12026},
year = {2023}
}
备注
Accepted for publication in Journal Of Software: Evolution And Process