镜头中的魔鬼：针对可穿戴设备上视觉语言模型的物理提示注入分析与防御

视觉语言模型（VLM）正迅速部署在智能眼镜等面向人类的可穿戴设备上，以实现多模态感知和AI辅助决策。虽然先前的研究已经证明了针对VLM数字图像输入的视觉提示注入风险，但物理环境与可穿戴智能（例如VLM赋能的AI眼镜）之间日益增强的集成所带来的独特安全挑战仍未得到充分探索。为了理解和建模此类威胁，我们的工作刻画了嵌入在物理环境中的恶意文本信息如何引入一个高优先级的视觉通道用于间接提示注入，其中阻碍或逃避人类感知的场景文本可能劫持VLM模型的行为。这种物理提示注入攻击不仅能破坏VLM赋能的穿戴式设备的正常任务，还能引导模型产生亵渎、偏见甚至不真实的输出。通过在200多个真实环境中使用AI眼镜物理捕获的照片，我们的分析识别了物理注入提示的6种代表性威胁向量，并进一步评估了它们对12个VLM模型的影响。结果表明，这些攻击在完整性和安全性关键任务中持续操纵模型输出，在模拟和真实环境中分别实现了高达96%和60%的攻击成功率。我们的分析证实，多种模型对环境文本表现出过度的盲目信任，忽略实际的视觉上下文并产生完全相反的摘要或指令。我们进一步提出了两种有针对性的防御策略，包括基于掩码的外部过滤器和基于语义向量的内部检测器，以有效降低这些攻击的成功率和安全影响。