Adv3D：利用 NeRF 为驾驶场景中的 3D 目标检测生成 3D 对抗样本
计算机视觉与模式识别
2024-08-07 v2
摘要
深度神经网络（DNNs）已被证明极易受对抗样本影响，这为基于 DNN 的自动驾驶栈（即 3D 目标检测）带来了特殊的安全关键担忧。尽管已有大量关于图像级攻击的工作，但大多数局限于 2D 像素空间，此类攻击在真实 3D 世界中并非总在物理上真实可行。在此我们提出 Adv3D，这是将对抗样本建模为神经辐射场（NeRFs）的首次探索。NeRF 的进展提供了照片级真实感外观与 3D 精确生成，从而产生更真实且可实现的对抗样本。我们通过最小化训练集上 3D 检测器所预测周围目标的置信度来训练我们的对抗 NeRF。随后我们在未见验证集上评估 Adv3D，表明其在以任意采样位姿渲染 NeRF 时均能造成大幅性能下降。为生成物理可实现的对抗样本，我们提出原语感知采样与语义引导正则化，以实现带有伪装对抗纹理的 3D 补丁攻击。实验结果表明，训练得到的对抗 NeRF 能很好地泛化至不同位姿、场景与 3D 检测器。最后，我们提供一种通过数据增强进行对抗训练来防御我们所提出攻击的方法。项目页面：https://len-li.github.io/adv3d-web
引用
@article{arxiv.2309.01351,
title = {Adv3D: Generating 3D Adversarial Examples for 3D Object Detection in Driving Scenarios with NeRF},
author = {Leheng Li and Qing Lian and Ying-Cong Chen},
journal= {arXiv preprint arXiv:2309.01351},
year = {2024}
}