破碎玻璃、失效摄像机：面向自动驾驶系统的物理仿真对抗样本
计算机视觉与模式识别
2025-11-17 v3 人工智能
图像与视频处理
摘要
虽然近期大量研究聚焦于生成物理基对抗样本,但往往忽视的关键类别来源于车载摄像机组件内部的物理故障,这些组件是自动驾驶系统感知系统的关键组成部分.摄像机故障,无论是由于外部应力导致硬件损坏还是内部组件故障,都可能直接危及自动驾驶系统的安全与可靠性.首先,我们通过两个独立的真实实验展示玻璃破碎确实会导致基于神经网络的检测模型失效。其次,我们开发了基于物理过程的仿真研究,创建扰动情形,代表现实的物理基对抗样本类别。采用有限元模型（FEM）的方法,通过对三角网格内粒子定义的应力场来生成摄像机图像上的表面裂纹。最后,我们采用物理渲染（PBR）技术提供这些物理上合理裂纹的逼真可视化。为评估安全影响,我们将模拟的破碎玻璃效果作为图像滤镜应用于自动驾驶数据集KITTI和BDD100K,以及大规模图像检测数据集MS-COCO。随后,我们使用CNN-based目标检测模型（YOLOv8和Faster R-CNN）以及基于Pyramid Vision Transformers的转换器架构评估关键目标类的检测失败率。为进一步调查这些视觉扰动的分布影响,我们计算了在应用各种破碎玻璃滤镜到自定义数据集（通过受裂风挡玻璃捕获）、KITTI和Kaggle猫狗数据集之间的Kullback-Leibler（K-L）散度。
引用
@article{arxiv.2405.15033,
title = {Fractured Glass, Failing Cameras: Simulating Physics-Based Adversarial Samples for Autonomous Driving Systems},
author = {Manav Prabhakar and Jwalandhar Girnar and Arpan Kusari},
journal= {arXiv preprint arXiv:2405.15033},
year = {2025}
}
备注
Accepted to AAAI