面向具身视觉导航中物理可实现的对抗攻击

具身视觉导航的显著进展引发了人们对其易受利用深度神经网络的对抗攻击的担忧。鉴于 3D 物理攻击可能对人类安全构成风险，研究具身视觉导航的对抗鲁棒性至关重要。然而，由于将数字扰动转移到物理世界的挑战，现有的具身视觉导航攻击方法往往缺乏物理可行性。此外，当前针对目标检测的物理攻击在导航场景中难以同时实现多视角有效性和视觉自然性。为了解决这个问题，我们提出了一种实用的具身导航攻击方法，即将对抗补丁附着到物体上，其中不透明度和纹理都是可学习的。具体而言，为了确保在不同视角下的有效性，我们采用了一种基于物体感知采样的多视角优化策略，根据导航中使用的基于视觉的感知模型的反馈来优化补丁的纹理。为了使补丁对人类观察者来说不显眼，我们引入了一种两阶段不透明度优化机制，其中不透明度在纹理优化之后进行微调。实验结果表明，我们的对抗补丁将导航成功率平均降低了 22.39%，在实用性、有效性和自然性方面均优于以前的方法。代码可在以下地址获取：https://github.com/chen37058/Physical-Attacks-in-Embodied-Nav