物理世界中用于跨模态攻击的统一对抗补丁

近来，物理对抗攻击已被提出以规避基于 DNN 的目标检测器。为保障安全性，许多场景同时部署可见光传感器与红外传感器，导致这些单模态物理攻击失效。为揭示此类场景下的潜在风险，我们提出一种统一对抗补丁以实施跨模态物理攻击，即通过单一补丁同时欺骗可见光与红外目标检测器。考虑到可见光与红外传感器不同的成像机制，我们的工作聚焦于建模对抗补丁的形状，使其在不同模态下发生变化时均能被捕获。为此，我们设计了一种新颖的边界限制形状优化以实现紧凑且平滑的形状，从而便于在物理世界中实施。此外，为在优化过程中平衡可见光检测器与红外检测器之间的欺骗程度，我们提出一种分数感知迭代评估，可引导对抗补丁迭代降低多模态传感器的预测分数。我们最终针对单阶段检测器 YOLOv3 与两阶段检测器 Faster RCNN 测试了我们的方法。结果表明，我们的统一补丁分别取得了 73.33% 和 69.17% 的攻击成功率（ASR）。更重要的是，我们在物理世界中验证了当可见光与红外传感器在各种设置（如不同角度、距离、姿态和场景）下拍摄物体时的有效攻击。