提示引导的环境一致性对抗补丁
计算机视觉与模式识别
2024-11-19 v1
摘要
物理世界中的对抗攻击对基于视觉的系统（如人脸识别和自动驾驶）安全构成重大威胁。现有对抗补丁方法主要关注提升攻击性能，但生成的补丁往往易被人眼察觉，且难以实现环境一致性，即将补丁融入环境。本文提出一种生成对抗补丁的新方法，同时解决补丁的视觉自然性和环境一致性。我们提出提示引导的环境一致性对抗补丁（PG-ECAP），通过将补丁与环境对齐确保其无缝融入环境。该方法利用扩散模型生成兼具环境一致性和规避检测有效性的补丁。为进一步增强自然性和一致性，我们引入两个对齐损失：提示对齐损失和潜在空间对齐损失，确保生成的补丁在保持对抗属性的同时自然融入环境。数字和物理域的大量实验表明，PG-ECAP 在攻击成功率和环境一致性上均优于现有方法。
引用
@article{arxiv.2411.10498,
title = {Prompt-Guided Environmentally Consistent Adversarial Patch},
author = {Chaoqun Li and Huanqian Yan and Lifeng Zhou and Tairan Chen and Zhuodong Liu and Hang Su},
journal= {arXiv preprint arXiv:2411.10498},
year = {2024}
}