Chameleon：用于多模态AI系统中基于缩放视觉提示注入的自适应对抗智能体

多模态人工智能（AI）系统，特别是视觉语言模型（VLM），已成为从自主决策到自动文档处理等关键应用的重要组成部分。随着这些系统的扩展，它们严重依赖预处理流水线来高效处理多样化输入。然而，这种对标准预处理操作（特别是图像下采样）的依赖造成了一个重大但常被忽视的安全漏洞。虽然旨在进行计算优化，但缩放算法可以被利用来隐藏恶意视觉提示，这些提示对人类观察者不可见，但在被模型处理后成为活跃的语义指令。当前的对抗策略在很大程度上是静态的，未能考虑现代智能体工作流的动态特性。为了弥补这一差距，我们提出了Chameleon，一种新颖的自适应对抗框架，旨在暴露并利用生产环境中VLM的缩放漏洞。与传统的静态攻击不同，Chameleon采用基于智能体的迭代优化机制，根据目标模型的实时反馈动态优化图像扰动。这使该框架能够构建高度鲁棒的对抗样本，这些样本能够在标准下采样操作中存活下来，从而劫持下游执行。我们针对Gemini 2.5 Flash模型评估了Chameleon。实验表明，Chameleon在不同缩放因子下实现了84.5%的攻击成功率（ASR），显著优于平均仅32.1%的静态基线攻击。此外，我们表明这些攻击有效破坏了智能体流水线，在多步骤任务中将决策准确率降低超过45%。最后，我们讨论了这些漏洞的影响，并提出多尺度一致性检查作为必要的防御机制。