融合尚不足够:针对三维目标检测融合模型的单模态攻击
计算机视觉与模式识别
2024-03-05 v3 密码学与安全
摘要
多传感器融合(MSF)广泛应用于自动驾驶车辆(AVs)的感知,特别是利用相机与 LiDAR 传感器进行三维目标检测。融合的目的是发挥各模态优势并最小化其弱点。基于先进深度神经网络(DNN)的融合技术已展现出卓越且行业领先的性能。由于多模态中的冗余信息,MSF 也被视为针对对抗攻击的一种通用防御策略。在本文中,我们从相机模态攻击融合模型,该模态在融合中被视为较不重要但攻击者更易获取。我们认为融合模型的最弱环节取决于其最脆弱的模态,并提出了一种通过仅相机对抗攻击来针对基于先进相机-LiDAR 融合的三维目标检测模型的攻击框架。我们的方法采用两阶段基于优化的策略,首先彻底评估对抗攻击下的脆弱图像区域,然后针对不同的融合模型应用专用攻击策略以生成可部署的补丁。使用六种先进相机-LiDAR 融合模型与一种仅相机模型的评估表明,我们的攻击成功破坏了所有这些模型。我们的方法既可将检测性能的均值平均精度(mAP)从 0.824 降至 0.353,也可将目标对象的检测分数从 0.728 降至 0.156,证明了我们所提攻击框架的有效性。代码已公开。
引用
@article{arxiv.2304.14614,
title = {Fusion is Not Enough: Single Modal Attacks on Fusion Models for 3D Object Detection},
author = {Zhiyuan Cheng and Hongjun Choi and James Liang and Shiwei Feng and Guanhong Tao and Dongfang Liu and Michael Zuzak and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2304.14614},
year = {2024}
}
备注
Accepted at ICLR'2024