AngleRoCL：面向物理视角不变T2I对抗补丁的角度鲁棒概念学习
计算机视觉与模式识别
2025-10-27 v2
摘要
前沿工作已证明文本到图像(T2I)扩散模型可以生成在物理世界中误导最先进目标检测器的对抗补丁，揭示了检测器的脆弱性和风险。然而，这些方法忽略了T2I补丁在物理世界中从不同角度观察时的攻击有效性（即T2I对抗补丁的角度鲁棒性）。在本文中，我们全面研究了T2I对抗补丁的角度鲁棒性，揭示了其角度鲁棒问题，证明文本显著影响生成补丁的角度鲁棒性，且任务特定的语言指令无法增强角度鲁棒性。受这些研究的启发，我们引入了角度鲁棒概念学习(AngleRoCL)，一种简单且灵活的方法，学习一种可泛化的概念（即在实现中为文本嵌入），代表生成角度鲁棒补丁的能力。所学习的概念可融入文本提示中，并引导T2I模型生成其攻击有效性本质上抵抗视角变化的补丁。通过在多个视角下对五个最先进检测器进行广泛的模拟和物理世界实验，我们证明AngleRoCL显著增强了T2I对抗补丁的角度鲁棒性，优于基线方法。我们的补丁即使在具有挑战性的观察条件下仍保持高攻击成功率，在多个角度上攻击有效性平均相对提升超过50%。本研究推进了对物理角度鲁棒补丁的理解，并提供了文本概念与T2I生成内容物理属性之间关系的见解。我们已发布代码于https://github.com/tsingqguo/anglerocl。
引用
@article{arxiv.2506.09538,
title = {AngleRoCL: Angle-Robust Concept Learning for Physically View-Invariant T2I Adversarial Patches},
author = {Wenjun Ji and Yuxiang Fu and Luyang Ying and Deng-Ping Fan and Yuyi Wang and Ming-Ming Cheng and Ivor Tsang and Qing Guo},
journal= {arXiv preprint arXiv:2506.09538},
year = {2025}
}