MAGIC：通过协作LLM智能体掌握上下文中的物理对抗生成
计算机视觉与模式识别
2025-03-12 v2 人工智能
摘要
驾驶场景中的物理对抗攻击可能暴露视觉感知模型的关键漏洞。然而，开发此类攻击仍然具有挑战性，原因在于真实世界环境的多样性以及保持视觉自然性的要求。基于这一挑战，我们将物理对抗攻击重新表述为一次性补丁生成问题。我们的方法通过一个深度生成模型生成对抗补丁，该模型考虑了特定场景上下文，从而能够在匹配环境中进行直接物理部署。主要挑战在于同时实现两个目标：生成能有效误导目标检测系统的对抗补丁，同时确定场景内上下文恰当的部署策略。我们提出了MAGIC（Mastering Physical Adversarial Generation In Context），一个由多模态大语言模型智能体驱动的新型框架，以应对这些挑战。MAGIC自动理解场景上下文，并通过语言与视觉能力的协同交互生成对抗补丁。具体而言，MAGIC协调三个专门的大语言模型智能体：对抗补丁生成智能体（GAgent）通过针对文本到图像模型的策略性提示工程掌握欺骗性补丁的创建；对抗补丁部署智能体（DAgent）通过基于场景理解确定最优部署策略来确保上下文一致性；自检智能体（EAgent）通过为两个过程提供关键监督和迭代改进来完成这一三部曲。我们在数字和物理两个层面验证了我们的方法，即nuImage数据集和手动拍摄的现实场景，统计和视觉结果均证明MAGIC在攻击广泛使用的目标检测系统（即YOLO和DETR系列）方面强大且有效。
引用
@article{arxiv.2412.08014,
title = {MAGIC: Mastering Physical Adversarial Generation in Context through Collaborative LLM Agents},
author = {Yun Xing and Nhat Chung and Jie Zhang and Yue Cao and Ivor Tsang and Yang Liu and Lei Ma and Qing Guo},
journal= {arXiv preprint arXiv:2412.08014},
year = {2025}
}