超越图像空间的对抗攻击

生成对抗样本是一个引人入胜的问题，也是理解深度神经网络工作机制的重要途径。大多数现有方法在图像空间中生成扰动，即每个像素可独立修改。然而，在本文中我们特别关注对应于3D物理属性（如旋转和平移、光照条件等）有意义变化的对抗样本子集。这些对抗样本可以说构成了更严重的隐患，因为它们展示了通过轻易扰动真实世界3D物体和场景来导致神经网络失效的可能性。在物体分类和视觉问答的背景下，我们用前端的一个渲染模块（可微或不可微）增强接收2D输入图像的最先进深度神经网络，从而将3D场景（物理空间中）渲染为2D图像（图像空间中），然后映射到预测（输出空间中）。对抗扰动现在可以超越图像空间，并在3D物理世界中有明确含义。尽管图像空间对抗样本可解释为逐像素反照率变化，我们验证了它们不能沿这些有物理意义的维度得到很好解释，这些维度往往具有非局部效应。但仍有可能在物理空间上成功实施超越图像空间的攻击，尽管这比图像空间攻击更困难，表现为更低成功率和需要更重的扰动。