MultiTest：面向多传感器融合感知系统测试的物理感知目标插入方法
软件工程
2024-01-26 v1
摘要
多传感器融合是解决众多安全关键任务和应用（例如自动驾驶汽车和自动化机械臂）的一项关键技术。随着数据驱动的人工智能（AI）的不断进步，多传感器融合在感知和理解复杂外部环境方面的潜力得到进一步增强，对智能系统，特别是其感知系统，产生了深远影响。与传统软件类似，基于AI的多传感器融合系统也需要充分的测试。然而，现有的测试方法主要集中在单传感器感知系统（例如，基于图像/点云的目标检测系统）。针对多传感器融合系统生成多模态测试用例的方法仍然缺乏重视。为了解决这些局限性，我们设计并实现了MultiTest，这是一种面向复杂多传感器融合感知系统的适应度引导的蜕变测试方法。MultiTest采用物理感知的方法来合成逼真的多模态目标实例，并将其插入到背景图像和点云的关键位置。我们设计了一个适应度度量来引导和增强测试生成过程。我们使用五个SOTA感知系统进行了广泛的实验，从以下角度评估MultiTest：（1）生成的测试用例的真实性，（2）故障检测能力，以及（3）性能提升。结果表明，MultiTest能够生成逼真且模态一致的测试数据，并有效检测被测多传感器融合系统中的数百种不同故障。此外，使用MultiTest生成的测试用例重新训练多传感器融合系统，可以提高系统的鲁棒性。
引用
@article{arxiv.2401.14314,
title = {MultiTest: Physical-Aware Object Insertion for Testing Multi-sensor Fusion Perception Systems},
author = {Xinyu Gao and Zhijie Wang and Yang Feng and Lei Ma and Zhenyu Chen and Baowen Xu},
journal= {arXiv preprint arXiv:2401.14314},
year = {2024}
}
备注
The first two authors contributed equally. To appear in the proceedings of the 46th International Conference on Software Engineering (ICSE 2024)