面向自动驾驶的通用视觉语言模型隐形攻击
计算机视觉与模式识别
2025-09-25 v1 机器学习
摘要
视觉语言模型用于自动驾驶是一种新兴的研究方向，已在多模态推理能力上取得显著提升。尽管具备先进的推理能力，VLM-AD仍然面临来自对抗攻击的严重安全威胁，这类攻击通过精心设计的扰动来误导模型决策。现有攻击方法面临两个显著挑战：1) 物理对抗攻击主要针对视觉模块，难以直接迁移到VLM-AD系统，因为它们通常攻击低层感知组件；2) 针对VLM-AD的对抗攻击 largely 集中在数字层面。为此，我们提出了面向VLM-AD的首个通用隐形攻击（Universal Camouflage Attack, UCA）框架。不同于关注优化逻辑层的前述方法，UCA operates in the feature space to generate physically realizable camouflage textures that exhibit strong generalization across different user commands and model architectures. 受编码器和投影层在VLM-AD中脆弱性的启发，UCA引入特征散度损失（Feature Divergence Loss, FDL），最大化干净图像与对抗图像之间的表示差异。此外，UCA采用多尺度学习策略并调整采样比例，以增强其对真实场景中尺度和视点多样性变化的适应性，从而提高训练稳定性。大量实验表明，UCA能够在各种VLM-AD模型和驾驶场景下诱导错误驾驶指令，显著超越现有最先进攻击方法（3-P指标提升30%）。此外，UCA在多样化视点和动态条件下表现出强大的攻击鲁棒性，表明其在实际部署中具有高潜力。
引用
@article{arxiv.2509.20196,
title = {Universal Camouflage Attack on Vision-Language Models for Autonomous Driving},
author = {Dehong Kong and Sifan Yu and Siyuan Liang and Jiawei Liang and Jianhou Gan and Aishan Liu and Wenqi Ren},
journal= {arXiv preprint arXiv:2509.20196},
year = {2025}
}