DOEPatch：用于生成对抗补丁的动态优化集成模型
计算机视觉与模式识别
2024-10-01 v2
摘要
目标检测是从自动驾驶到智能安防系统等各种应用中的一项基础任务。然而，当人的衣物上装饰有精心设计的涂鸦图案时，对人的识别就会受到阻碍，从而导致目标检测失效。为了实现对未知黑盒模型更大的攻击潜力，需要能够影响多目标检测模型输出的对抗补丁。尽管集成模型已被证明有效，但目前目标检测领域的研究通常侧重于对所有模型输出的简单融合，而对开发能在物理世界中有效发挥作用的通用对抗补丁关注有限。在本文中，我们引入了能量的概念，并将对抗补丁的生成过程视为对对抗补丁的优化，以最小化“人”类别的总能量。此外，通过采用对抗训练，我们构建了一个动态优化集成模型。在训练过程中，调整被攻击目标模型的权重参数，以找到生成的对抗补丁能有效攻击所有目标模型的平衡点。我们进行了六组对比实验，并在五个主流目标检测模型上测试了我们的算法。我们的算法生成的对抗补丁可将 YOLOv2 和 YOLOv3 的识别准确率分别降至 13.19% 和 29.20%。此外，我们进行了实验以测试覆盖有我们对抗补丁的 T 恤在物理世界中的有效性，并能够实现使人不被目标检测模型识别。最后，利用 Grad-CAM 工具，我们从能量角度探讨了对抗补丁的攻击机制。
引用
@article{arxiv.2312.16907,
title = {DOEPatch: Dynamically Optimized Ensemble Model for Adversarial Patches Generation},
author = {Wenyi Tan and Yang Li and Chenxing Zhao and Zhunga Liu and Quan Pan},
journal= {arXiv preprint arXiv:2312.16907},
year = {2024}
}